投机采样技术

搜索文档
每秒生成超30帧视频,支持实时交互!自回归视频生成新框架刷新生成效率
量子位· 2025-06-12 09:37
核心观点 - 微软研究院与北大联合发布新框架Next-Frame Diffusion (NFD),实现每秒超30帧自回归视频生成,同时保持高质量画面 [1][2] - NFD通过帧内并行采样和帧间自回归方式提升生成效率,在NVIDIA A100 GPU上生成《我的世界》视频仅需0.48秒 [2][4] - 该技术可能改变游戏行业交互方式,玩家可直接与模型交互而无需传统游戏引擎 [3] 技术架构 - NFD采用帧内双向注意力和帧间因果注意力机制建模视频,使用扩散模型多步迭代生成连续Token [21] - 引入块状因果注意力机制的Transformer,将整体计算成本减少50%,支持高效并行预测下一帧所有Token [25][26] - 基于Flow Matching构建训练流程,通过线性插值生成加噪版本并最小化Flow Matching损失 [27] 性能优化 - 通过一致性蒸馏扩展到视频领域,将流匹配模型转换为TrigFlow模型,简化训练过程 [28] - 提出投机采样技术,利用可预测的用户输入并行生成多帧,预测错误时丢弃后续帧重新生成 [30][33] - 310M模型FVD达到212,PSNR为16.46,优于MineWorld(1.2B)的FVD 227和PSNR 15.69 [35] 性能表现 - NFD+加速版本130M和310M模型分别达到42.46FPS和31.14FPS,远超基线 [36] - 310M模型在PSNR上达到16.83,FVD为227,与更大的MineWorld模型表现相当 [37] - 相比此前每秒4-7帧的MineWorld模型,NFD生成速度快了几倍 [15][18] 行业影响 - 视频生成模型在多个领域快速发展,包括Sora、可灵、Veo3等产品及Genie、MineWorld等游戏模拟器 [37] - 该技术为未来世界模型的实现提供重要基础,高效生成范式变得越来越重要 [37] - 可能重塑游戏行业交互模式,实现玩家与模型的直接互动 [3]