Workflow
仅凭RGB图像实现户外场景高精度定位与重建,来自港科广团队 | ICRA 25
量子位·2025-03-19 06:20

文章核心观点 - OpenGS - SLAM是基于3DGS表示的RGB - only SLAM系统,适用于无界户外场景,结合点图回归网络与3DGS表示,有精确相机姿态跟踪和出色新视图合成能力,相比其他基于3DGS的SLAM系统,在户外环境跟踪精度和鲁棒性更高,实用性强 [33][34][35] 现有基于3DGS的SLAM方法问题 - 现有基于3DGS的SLAM方法在室内场景表现出色,但用仅RGB输入处理无界户外场景面临挑战 [2] OpenGS - SLAM解决方案 整体策略 - 采用点图回归网络生成帧间一致点图,储存多标准视角3D结构,缓解预训练深度网络误差问题;将相机位姿估计与3DGS渲染集成到端到端可微管道,实现位姿和3DGS参数联合优化,提高跟踪精度 [3] - 设计自适应比例映射器和动态学习率调整策略,准确将点图映射到3DGS地图表示 [4] 具体技术细节 追踪 - 每一帧输入RGB图像用于追踪,当前帧和上一帧作为图片对输入到Pointmap回归网络进行位姿估计,再基于当前3D高斯地图进行位姿优化;关键帧处系统执行地图更新,通过自适应尺度映射器处理Pointmap插入新3D高斯点;相机位姿与3D高斯地图在局部窗口内联合优化 [6][7][8] 帧间点图回归与位姿估计 - 户外场景基于车辆摄影,运动幅度大、视角稀疏,直接优化相机位姿难收敛;OpenGS - SLAM团队提出基于帧间点图回归网络的位姿估计方法,用预训练点图回归网络生成连续帧图像点图,利用RANSAC和PnP推断两帧相对姿态 [11] 位姿优化 - 基于3DGS可微光栅化管道构建可微相机位姿优化方法,定义光度损失,通过渲染函数微分将增量位姿更新与光度损失关联,实现相机位姿端到端优化 [14][15][17] 3DGS场景表示 - 使用3DGS作为场景表示,提出自适应尺度映射器,在关键帧为地图插入新高斯点,基于点匹配关系计算连续帧相对尺度变化因子,确保场景尺度一致性 [19] 建图 高斯地图优化 - 管理局部关键帧窗口选择非冗余关键帧,在关键帧上通过联合优化窗口中高斯属性和相机位姿实现局部BA,优化通过最小化光度损失进行,采用各向同性正则化 [20][21][22] 自适应学习率调整 - 户外数据与室内SLAM数据集不同,需不同学习率衰减策略;研究人员提出基于旋转角度的自适应学习率调整策略,车辆直路行驶学习率逐步衰减,遇坡道或转弯动态提升学习率 [23][24] 实验结果 - 在Waymo数据集无界户外场景上,OpenGS - SLAM能渲染高保真新视角图片,追踪性能优,面临大转弯能稳定收敛;在新视角合成上性能最佳,追踪精度与GlORIE - SLAM相当,相比MonoGS误差降低至9.8%,提升了系统鲁棒性和准确性 [29][30][31] - 消融研究显示,自适应学习率调整和自适应尺度映射对整体性能有积极影响,Pointmap回归网络是核心支撑,对系统性能至关重要 [32]