Workflow
字节Wan
icon
搜索文档
Sora2还在5秒打转,字节AI生视频已经4分钟“起飞”
量子位· 2025-10-06 13:42
技术突破核心 - 字节与UCLA联合提出Self-Forcing++方法,实现分钟级长视频生成,最长可达4分15秒,相比行业主流5-10秒视频生成长度提升近50倍[1][2][28] - 该方法无需更换模型架构或重新收集长视频数据集,通过自回归生成技术抑制后期画质劣化,避免传统扩散模型因误差积累导致的画面崩坏问题[1][10][11] - 生成视频在视觉稳定性、动态程度等关键指标上大幅领先现有SOTA模型,如SkyReels、CausVid等,且全程保持高保真度与运动连贯性[5][24][27] 技术实现原理 - 采用反向噪声初始化技术,让学生模型生成100秒干净帧序列后重新注入噪声,扩展分布匹配蒸馏通过随机抽取5秒窗口计算KL散度来最小化师生模型差异[13] - 引入滚动KV缓存机制,在训练与推理阶段生成远超教师监督时长的序列,结合组相对策略优化(GRPO)以光流连续性为代理指标减少画面突变[14][17] - 使用Gemini-2.5-Pro作为评估工具,按过曝光、误差积累等维度评分(0-100分),替代传统VBench基准,更精准衡量长视频视觉稳定性[18] 性能对比数据 - 短时长(5秒)生成中,Self-Forcing++语义得分80.37、总得分83.11,接近Wan2.1的84.67,显示其未专门训练仍保持高质量[22][23] - 中长时长(50秒)生成时,视觉稳定性得分90.94,远超CausVid(40.47)和Self-Forcing(40.12),动态程度为后者的1.6倍[24] - 极长时长(75-100秒)生成中,文本对齐得分26.04,动态程度54.12,较CausVid提升6.67%和56.4%,视觉稳定性达84.22,为Self-Forcing的2.6倍[25][26] 行业影响 - 当前主流AI视频模型(如Sora2、腾讯混元、谷歌Veo)均受限于5-10秒时长,长视频生成技术瓶颈被突破可能加速AI电影等应用落地[6][9] - 该方法在1.3B参数量下实现17 FPS吞吐量,与部分基准模型相当,显示其在计算效率与生成质量间的平衡潜力[25]