核心观点 - 提出InvRGB+L逆渲染框架,首次将LiDAR强度信息与RGB序列结合,用于大规模动态场景的重建和重光照 [4] - 通过物理建模实现RGB与LiDAR模态的材质一致性,解决传统方法依赖单一RGB输入导致的材质估计偏差问题 [4][6] - 在Waymo数据集上验证性能,PSNR达30.42,LiDAR强度建模误差(RMSE)0.063,优于现有方法 [18][20] 技术方法 基于物理的LiDAR反射模型 - 提出新型LiDAR着色模型,采用Cook-Torrance模型扩展镜面反射项,公式化表达激光强度与表面材质(反射率、粗糙度)的关系 [7][9] - 建模激光能量衰减(与距离平方成反比)及入射角影响,实现物理准确的强度预测 [9][12] 逆渲染框架设计 - 采用带材质属性的3D高斯(3DGS)表示场景几何与光学属性,支持动态物体插入和时间一致性建模 [10][13][15] - 引入环境光照模型(天空光+太阳光)和可微分渲染流程,同步生成RGB与LiDAR强度输出 [14][15] - 训练损失函数包含RGB/LiDAR渲染误差、扩散先验监督及跨模态一致性约束 [16] 实验结果 定量分析 - 重光照任务PSNR提升1.58(vs UrbanIR),LPIPS降低0.19,证明材质分离效果更优 [18] - LiDAR强度合成误差(RMSE 0.063)较LiDARsim降低47.5%,镜面反射建模更精准 [20] 应用场景 - 支持夜景模拟(街灯/车灯光照重建)和动态物体无缝融合(如车辆插入后物理光照匹配) [23] - 反照率估计误差减少,避免阴影误识别(如UrbanIR在车辆旁生成虚假阴影) [22] 局限性 - 高斯体元不透明性导致阴影渲染精度不足 [26] - 光照模型未覆盖复杂夜间环境(如多点光源),需进一步优化 [26]
ICCV 2025!首个自动驾驶RGB和Lidar紧耦合逆渲染框架InvRGB+L,直接SOTA~
自动驾驶之心·2025-07-31 07:33