Workflow
CVPR 2025:无需物理引擎,一个模型搞定图像渲染与分解
量子位·2025-03-16 13:37

文章核心观点 港科大广州和趣丸科技首创的双流扩散框架Uni - Renderer将渲染与逆渲染统一到单一扩散框架,实现“生成即分解”闭环能力,性能达新SOTA,未来将重塑影视、游戏、AR/VR等产业视觉生成管线 [2][3][5] 首创双流扩散框架 - 传统方法独立建模训练渲染器与逆渲染器,存在计算成本高、效率低、泛化差等问题,而Uni - Renderer的双流扩散架构将两个过程建模为双条件生成任务 [7] - 渲染流以VAE编码材质、法线、光照为条件生成RGB图像,支持动态调整粗糙度/金属值 [8] - 逆渲染流以图像为输入分解属性,网络内部跨流交互,采用差异化timestep调度策略,还将分解属性再输入渲染模块并借助循环约束确保分解结果可重新生成一致图像 [9] 实测对比,性能碾压SOTA - 材质编辑方面,Uni - Renderer精准控制高光与漫反射,细节逼真,优于Subias和InstructPix2Pix [10] - 重光照方面,输入单张图像替换环境光,光影过渡自然,超越NvDiffRec [12] - 真实场景中,“水壶”逆渲染解析高频环境光,金属质感与粗糙度误差仅3% [13] - 效率提升200%,公开测试集上材质估计误差降低40%,光照分解PSNR提升30% [14][15] - 研究构建业界最大规模多材质合成数据集,模型在未见过的真实场景仍能精准分解,渲染和逆渲染任务指标表现优秀,重光照效果超越其他方案 [15] 开源即用 - 团队对Uni - renderer同步开源,包括代码库支持一键训练/推理、兼容PyTorch生态,合成数据集涵盖20万对象+百万级材质 - 光照组合,预训练模型可即插即用于多场景 [20] 未来展望 - Uni - Renderer标志视觉生成与解析进入“统一智能”时代,其双流架构与循环约束机制提供全新范式,未来团队将融合真实数据,攻克复杂动态场景 [18][19][20]