SOTA级视频编辑新方法:无需训练一句话编辑视频,背景保持100%
量子位·2025-06-10 13:16
FlowDirector团队 投稿 量子位 | 公众号 QbitAI 传统的视频编辑工作流,正在被AI彻底重塑。 开销低:FlowDirector无反演过程,不需要存储任何额外的控制信息(如Attention Map),单卡4090就可实现高质量视频编辑。 支持广泛:除可进行传统的对象替换外,FlowDirector可以任意的添加、删除视频中的内容,以及进行一系列的纹理替换。 背景100%保持:通过对非编辑区域的"动力"进行冻结,使得编辑后的视频在无关区域与原视频完全保持一致。 方法:针对视频编辑中的「反演痛点」 现在的通用视频编辑方法大多基于反演-去噪(inversion-denosiong)范式: AI的视频编辑方法总是存在一些问题:例如视频运动不连贯、编辑后的视频产生意外变化等……经过分析,这些问题的产生最终大都指向同一 原因—— 反演-编辑范式 。 因此, 西湖大学AGILab 提出了一种全新的无需反演和训练的视频编辑新方法: FlowDirector 。 相较于其他视频编辑方法,FlowDirector有以下方面值得关注: 编辑结果展示: 这种范式带来了许多问题:反演过程中的错误会不断的累计,使得得 ...