核心观点 - DriveSplat是一种基于神经高斯表示并具有动静态解耦的高质量驾驶场景重建算法 通过区域划分的体素初始化方案和可变形的神经高斯建模 在Waymo和KITTI数据集的新视角合成任务中展现了最先进的性能 [2][14] - 该方法采用近-中-远三个区域划分策略增强近距离细节表示 引入深度和法线先验监督提升几何准确性 训练效率显著优于对比方案(单场景30K迭代仅需68分钟) [2][14][27] - 在Waymo数据集上PSNR达36.08(重建)和34.41(新视角合成) 在KITTI数据集上PSNR达28.59(重建)和24.53(新视角合成) 均超越所有基线模型 [29][32] 技术架构 - 使用八叉树结构初始化背景表示 根据深度范围( , )计算八叉树层数 基础体素大小通过初始体素大小除以2的幂次计算 [16] - 通过主成分分析(PCA)估计主轴 应用高斯混合模型(GMM)获得分割阈值 将场景划分为近、中、远三个区域 近区和中区的体素尺寸被细化以适应密集点分布 [18][19] - 动态参与者通过边界框信息从局部坐标系转换到全局坐标系 非刚性参与者通过形变网络建模神经高斯的时间演化(调整位置、旋转、尺度等属性) [21] 性能表现 - 在Waymo数据集上:PSNR重建指标36.08(优于基线最高35.76) 新视角合成PSNR 34.41(优于基线最高33.46) LPIPS指标0.079(优于基线最低0.093) [29] - 在KITTI数据集上:PSNR重建指标28.59(优于基线最高28.68) 新视角合成PSNR 24.53(优于基线最高22.01) SSIM指标0.895(优于基线最高0.874) [32] - 训练效率显著提升:单场景30K迭代仅需68分钟 对比Desire-GS的180分钟以上 速度提升约62% [27] 算法优化 - 采用SfM+LiDAR组合初始化点云:PSNR达34.41 优于单独使用SfM(33.30)或LiDAR(32.01) [33] - 背景分区优化(BPO)模块提升明显:使用BPO后PSNR从33.82提升至34.41 LPIPS从0.093改善至0.087 [36] - 几何先验监督有效:使用相对深度监督时PSNR达34.41(绝对深度监督为33.23) 法线监督使余弦相似度从0.331提升至0.504 [36][37] 动态处理 - 非刚性参与者重建性能突出:添加可变形模块后PSNR从35.26提升至37.93 与结合SMPL的OmniRe(37.26)相比仍具优势 [39] - 动态解耦策略提升明显:未使用动态模块时PSNR仅23.86 添加动态表示后提升至35.26 [39] - 支持多类型点云初始化:包括SfM、LiDAR和稠密DUSt3R输入 其中SfM+LiDAR组合效果最优 [16][33]
超越OmniRe!中科院DriveSplat:几何增强的神经高斯驾驶场景重建新SOTA
自动驾驶之心·2025-08-27 07:32