Workflow
LeMiCa
icon
搜索文档
联通破解扩散模型速度质量零和博弈,推理速度提升5倍丨CVPR 2025 Highlight
量子位· 2025-12-01 12:26
技术演进脉络 - 中国联通数据科学与人工智能研究院团队在CVPR 2025上发表了ShortDF论文,提出了基于在线训练模式的图论加速理论[1][4] - 半年后,该团队在NeurIPS 2025上发表了LeMiCa论文,创造了离线建图新范式,将图论思想适配到更高维度的文生图/视频生成任务中[2][4] - 技术路径清晰地从理论探索(ShortDF)走向复杂应用(LeMiCa),展现了技术进阶之路[4][42] 行业核心痛点 - 扩散模型(如Sora、Stable Diffusion)昂贵的推理开销是阻碍实时应用的最大路障[8] - 去噪轨迹是一条高度非线性的弯曲路径,导致现有方案面临速度与质量的“零和博弈”[9][10] - 现有加速方法在极低步数(<5步)下会出现画质崩塌和细节丢失问题[11] ShortDF核心机制 - 创新性地引入“最短路径优化”思路,在训练阶段直接拉直去噪轨迹[12] - 锁定“误差上界”进行源头优化,通过压低初始残差来限制后续累积误差[14][15][16] - 采用图论松弛策略压缩路径,让模型以伪递归方式自我修正,实现去噪路径全局最优[21][22][27] - 设计多状态优化机制,通过维护三个不同角色的模型副本确保训练稳定性[29][30] 性能表现 - 在CIFAR-10数据集上,仅需2步即可完成高质量生成,推理速度相比DDIM的10步基准提升5.0倍[36] - 2步设置的FID达到9.08,显著优于DDIM 10步的11.14,画质FID提升18.5%[36] - 在复杂场景下,ShortDF在8步生成的教堂图像质量能媲美DDIM 15步的效果[43] - 在10步推理下,人脸生成的FID降至5.0,远超DDIM的10.59[43] 行业意义 - 首次建立了残差传播与图论最短路的数学联系,提供了普适性的高效解决方案[40] - 证明精细化的数学建模比单纯的“算力堆砌”更能打破扩散模型速度枷锁[41] - 对推动AIGC技术在移动端设备、实时交互设计等资源受限场景落地具有里程碑意义[42]
NeurIPS 2025 Spotlight | 中国联通以全局优化重塑扩散模型加速
机器之心· 2025-11-26 09:36
文章核心观点 - 提出一种名为LeMiCa的全新缓存加速框架,旨在解决扩散模型在视频生成中推理时间长、算力成本高的瓶颈问题 [2] - 该方法的核心思想是将缓存加速问题重新定义为全局路径优化问题,而非局部决策问题,从而在保持画质与一致性的同时实现高效推理加速 [2][7] - 研究成果已成功入选NeurIPS 2025 Spotlight,并获得阿里通义千问和智谱AI等业界顶级团队的认可 [3][25] 技术原理与方法 - 将扩散模型的生成过程抽象为带权有向无环图(DAG),其中节点代表时间步,边代表缓存复用行为,边权重对应缓存导致的全局误差 [8] - 提出一种全新的误差度量方法,通过离线构建静态DAG来量化缓存对最终生成视频结果的影响,并使用L1损失量化全局误差 [11] - 采用字典序极小化路径优化准则进行路径搜索,不追求误差总和最小,而是确保最大误差被最小化且误差分布更均衡,避免单段灾难性退化 [12][13] 性能表现与实验结果 - 在Open-Sora 1.2模型测试中,LeMiCa-fast方案实现2.44倍加速,延迟从26.54秒降低至10.86秒,PSNR从基准的11.91提升至21.76 [15] - 在Latte模型测试中,LeMiCa-fast方案实现2.93倍加速,延迟从11.18秒降低至3.81秒,PSNR从基准的8.65提升至19.43 [15] - 在CogVideoX模型测试中,LeMiCa-fast方案实现2.61倍加速,延迟从43.08秒降低至16.48秒,PSNR从基准的29.85提升至25.59 [15] - 视觉质量指标显著提升,例如在Open-Sora 1.2上,LeMiCa-slow的LPIPS低至0.050,SSIM高达0.923,远超其他对比方法 [15] 技术优势与特点 - 具备极佳的生成效果,在结构、纹理和内容一致性方面实现全面提升 [19] - 提供优秀的加速性能,实现2.4倍以上的高倍加速推理 [19] - 仅需极少样本即可建立高质量DAG,单样本已具备强性能,20个样本即达到性能饱和,体现了高鲁棒性和场景扩展能力 [18] - 路径鲁棒性强,即使改变采样调度中的轨迹缩放参数,LeMiCa仍能保持较好效果 [20] - 作为通用框架,不仅适用于视频生成模型,也兼容文生图模型,如在QWen-Image模型上同样表现出色 [21]