Spatial-Temporal Sparsity

搜索文档
ICML 2025 | 视频生成模型无损加速两倍,秘诀竟然是「抓住attention的时空稀疏性」
机器之心· 2025-05-07 15:37
自 OpenAI 发布 Sora 以来,AI 视频生成技术进入快速爆发阶段。凭借扩散模型强大的生成能力,我们已经可以看到接近现实的视频生成效果。但在模型逼真度不 断提升的同时,速度瓶颈却成为横亘在大规模应用道路上的最大障碍。 当前最好的视频生成模型 Wan 2.1、HunyuanVideo 等,在单张 H100 GPU 上生成一个 5 秒的 720p 视频往往需要耗时 30 分钟以上。主要瓶颈出现在 3D Full Attention 模块,约占总推理时间的 80% 以上。 为了解决这个问题,来自加州伯克利和 MIT 的研究者们提出了联合提出了一种新颖的解决方案: Sparse VideoGen。 这是一种 完全无需重新训练模型 的视频生成加速方法。通过挖掘注意力机制中的 空间与时间稀疏性 ,配合 自适应稀疏选择与算子优化 ,成功将 推理时间减半 。令人惊讶的是,它生成的视频与 Dense Attention 方法相比, 几乎没有肉眼可见的差别 ,保持极高的像素保真度 (PSNR = 29)。Sparse VideoGen 也是第一个能够 达到这种级别的像素保真度的方法。 目前,Sparse VideoGen ...