自动驾驶场景重建

搜索文档
超越OmniRe!中科院DriveSplat:几何增强的神经高斯驾驶场景重建新SOTA
自动驾驶之心· 2025-08-27 07:32
核心观点 - DriveSplat是一种基于神经高斯表示并具有动静态解耦的高质量驾驶场景重建算法 通过区域划分的体素初始化方案和可变形的神经高斯建模 在Waymo和KITTI数据集的新视角合成任务中展现了最先进的性能 [2][14] - 该方法采用近-中-远三个区域划分策略增强近距离细节表示 引入深度和法线先验监督提升几何准确性 训练效率显著优于对比方案(单场景30K迭代仅需68分钟) [2][14][27] - 在Waymo数据集上PSNR达36.08(重建)和34.41(新视角合成) 在KITTI数据集上PSNR达28.59(重建)和24.53(新视角合成) 均超越所有基线模型 [29][32] 技术架构 - 使用八叉树结构初始化背景表示 根据深度范围( , )计算八叉树层数 基础体素大小通过初始体素大小除以2的幂次计算 [16] - 通过主成分分析(PCA)估计主轴 应用高斯混合模型(GMM)获得分割阈值 将场景划分为近、中、远三个区域 近区和中区的体素尺寸被细化以适应密集点分布 [18][19] - 动态参与者通过边界框信息从局部坐标系转换到全局坐标系 非刚性参与者通过形变网络建模神经高斯的时间演化(调整位置、旋转、尺度等属性) [21] 性能表现 - 在Waymo数据集上:PSNR重建指标36.08(优于基线最高35.76) 新视角合成PSNR 34.41(优于基线最高33.46) LPIPS指标0.079(优于基线最低0.093) [29] - 在KITTI数据集上:PSNR重建指标28.59(优于基线最高28.68) 新视角合成PSNR 24.53(优于基线最高22.01) SSIM指标0.895(优于基线最高0.874) [32] - 训练效率显著提升:单场景30K迭代仅需68分钟 对比Desire-GS的180分钟以上 速度提升约62% [27] 算法优化 - 采用SfM+LiDAR组合初始化点云:PSNR达34.41 优于单独使用SfM(33.30)或LiDAR(32.01) [33] - 背景分区优化(BPO)模块提升明显:使用BPO后PSNR从33.82提升至34.41 LPIPS从0.093改善至0.087 [36] - 几何先验监督有效:使用相对深度监督时PSNR达34.41(绝对深度监督为33.23) 法线监督使余弦相似度从0.331提升至0.504 [36][37] 动态处理 - 非刚性参与者重建性能突出:添加可变形模块后PSNR从35.26提升至37.93 与结合SMPL的OmniRe(37.26)相比仍具优势 [39] - 动态解耦策略提升明显:未使用动态模块时PSNR仅23.86 添加动态表示后提升至35.26 [39] - 支持多类型点云初始化:包括SfM、LiDAR和稠密DUSt3R输入 其中SfM+LiDAR组合效果最优 [16][33]
AI Day直播!复旦BezierGS:利用贝塞尔曲线实现驾驶场景SOTA重建~
自动驾驶之心· 2025-07-07 20:17
今天自动驾驶之心很荣幸邀请到BezierGS工作的一作马梓培,为大家分享这篇ICCV'25中稿的新工作!今晚七点 半,自动驾驶之心直播间不见不散~ 1. 构建一个高质量街景世界,供自驾模型在其中训练、探索,减少数据采集的成本; 2. 减少对bounding box精确性的依赖,目前业界以及开源自驾数据集采集的准确性不是很高,bounding box的 标注不精确; 3. 这篇是对自驾世界的学习与探索,未来会探索一个真正的自驾世界模型,该工作只能实现轨迹内插,无法轨 迹外插。 论文链接:https://arxiv.org/abs/2506.22099 代码代码:https://github.com/fudan-zvg/BezierGS 复旦大学ICCV 2025中稿的最新工作!自动驾驶场景的真实重建对于开发闭环仿真至关重要。大多数现有方法依 赖于目标的位姿标注,使用这些位姿来重建动态目标并在渲染过程中实现动态重建。这种对高精度目标标注的依 赖限制了大规模和广泛场景的重建。为了解决这一挑战,复旦大学的团队提出了Bezier curve Gaussian splatting (BezierGS),该方法使用可学习的 ...