近年来，基于扩散的视频生成模型的最新进展极大地提高了视频编辑的真实感和可控性。然而，文字驱动的视频对象移除添加依然面临巨大挑战： 不仅需要精准定位目标对象，还要同时保持背景连续性、时序一致性以及语义匹配。 现有大多数方法在推理时必须依赖用户提供的掩码或参考帧来确定编辑区域，这不仅增加了使用门槛，也限制了模型在真实场景中的实用性和泛化能力。 为了解决上述难题，清华&华为&中科大团队提出LoVoRA（Learnable Object-aware Localization for Video Object Removal and Addition）——一个真正意义 上文本驱动、无需掩码和参考帧的视频对象移除与添加框架。 LoVoRA 能够仅凭文本提示精准定位编辑区域，并进行时序一致、背景自然的视频编辑，无需任何人工掩码或外部控制信号。大量实验和用户评测表明， LoVoRA 在编辑质量、背景一致性、时序稳定性等指标上均优于现有基线方法。 数据集构建 然而，它们仍然存在一些局限性：低空间和时间分辨率；由逐帧生成引起的背景不一致；以及对象添加和移除场景的覆盖范围有限。 为了克服这些问题，团队构建了一个高质量的数据集，专门 ...

LoVoRA团队 投稿 量子位 | 公众号 QbitAI 近年来，基于扩散的视频生成模型的最新进展极大地提高了视频编辑的真实感和可控性。然而，文字驱动的视频对象移除添加依然面临巨大挑 战： 不仅需要精准定位目标对象，还要同时保持背景连续性、时序一致性以及语义匹配。 现有大多数方法在推理时必须依赖用户提供的掩码或参考帧来确定编辑区域，这不仅增加了使用门槛，也限制了模型在真实场景中的实用性和 泛化能力。 为了解决上述难题，清华&华为&中科大团队提出 LoVoRA （Learnable Object-aware Localization for Video Object Removal and Addition）——一个真正意义上文本驱动、无需掩码和参考帧的视频对象移除与添加框架。 LoVoRA 能够仅凭文本提示精准定位编辑区域，并进行时序一致、背景自然的视频编辑，无需任何人工掩码或外部控制信号。大量实验和用 户评测表明，LoVoRA 在编辑质量、背景一致性、时序稳定性等指标上均优于现有基线方法。 数据集构建 现有的基于指令的视频编辑数据集，例如InsViE, Ditto, Senoritia, ICVE-SFT等 ...