核心观点 - 帧感知视频扩散模型(FVDM)通过引入向量化时间步变量(VTV)解决了传统标量时间步在视频生成中的局限性，显著提升时序建模能力 [2][18][19] - Pusa项目是FVDM理论的实际应用，探索出极低成本微调大规模预训练视频模型的有效路径，训练成本降低超200倍，数据需求减少超2500倍 [3][5] - Pusa通过非破坏性微调预训练模型(如Wan-T2V 14B)，仅需500美金成本即可达到优于原模型的效果，同时解锁图生视频、首尾帧、视频过渡等多项功能 [5][35] - Pusa-Mochi版本进一步降低成本至100美金，实现高效视频生成 [11] - 完整代码库、训练数据集和训练代码已全面开源，旨在推动领域共同进步 [17] 技术原理 - 传统视频扩散模型采用标量时间变量，无法捕捉帧间动态关系 [18] - FVDM引入向量化时间步变量$\mathbf{r}(t)=\left[\tau^{(1)}(t),\tau^{(2)}(t),...,\tau^{(N)}(t)\right]^{\top}$，允许每帧独立噪声扰动 [18][19] - 扩展前向随机微分方程(SDE)以适应向量化时间步，每帧经历独立高斯分布噪声扰动 [20] - 设计集成反向SDE封装跨帧依赖关系 [23] - 基于分数的模型近似分数函数$s_{\theta}(\mathbf{X},\tau(t))\approx\nabla_{X}\log p_{t}\left(\mathbf{X}\right)$ [24] 网络架构与训练 - 对Mochi1及Wan等开源视频模型进行非破坏性改造，将标量时间步输入扩展为(B, N)形状向量化时间步 [27][28] - 通过正弦位置编码将时间步转换为(B, N, D)嵌入表示，通过adaLN-Zero等机制作用于Transformer层 [28] - 独创概率性时间步采样训练策略(PTSS)，以概率为每帧采样随机独立时间步或相同时间步，解耦时序动态与基础生成能力学习 [29][30] - 非破坏性改造使模型初始即具备基础能力，仅需少量独立时间步微调即可掌握时序动态控制 [33] 应用效果 - Pusa-Wan实现500美金成本下优于原模型效果，保留文生视频能力同时解锁图生视频、首尾帧、视频过渡、视频拓展等功能 [5][35] - Pusa-Mochi版本仅需100美金训练成本 [11] - VTV机制支持多样帧级控制采样算法，如输入图像作为任意帧时可不加噪或加少量噪声 [35] - 测试样例展示大白鲨游泳、奶牛吃干草、戴墨镜男子驾驶汽车等场景生成效果 [7][9] 行业影响 - FVDM理论通过VTV带来视频生成根本性变革 [2][37] - Pusa项目以惊人低成本和高效微调策略将理论付诸实践，推广至强大预训练模型 [3][37] - 开源策略推动领域共同进步，探索更多可能性 [17][37]