3D高斯泼溅(3DGS)自建模技术
搜索文档
IJRR最新成果!中山大学提出基于3D高斯泼溅的机器人自建模技术:仅凭RGB图像实现高保真形态、运动与颜色重建
机器人大讲堂· 2025-11-17 17:00
核心技术:3D高斯泼溅(3DGS) - 3D高斯泼溅是新兴的三维场景重建技术,通过灵活可优化的三维高斯函数实现高效、高质量的三维表征 [3] - 每个3D高斯函数由位置、协方差矩阵、颜色、不透明度等参数定义,能够精准还原机器人的三维形态与表面颜色 [4] - 相比神经辐射场(NeRF)方法,3DGS单幅图像渲染时间仅需0.08秒,远优于NeRF的接近1秒耗时,且能同时捕捉几何细节与颜色信息 [6] 建模方法与系统构建 - 技术核心包括构成机器人“数字躯体”的3D高斯函数和提供“运动控制系统”的神经骨骼与运动学网络 [7] - 神经骨骼通过聚类算法构建,运动学网络通过多层感知机(MLP)编码器和多头注意力转换器实现关节角度到骨骼运动的映射 [7] - 采用线性混合蒙皮技术将高斯函数与神经骨骼关联,通过蒙皮权重实现机器人整体形态的自然形变 [8][10] 技术流程与优化 - 自建模流程分为数据采集、静态重建、动态训练与模型优化四个阶段 [11] - 数据采集仅需普通RGB相机与机器人自身关节角度传感器,无需昂贵设备,整个过程共采集万级图像数据 [12] - 采用分阶段训练策略,通过60万步训练实现高精度建模,并使用多维度损失函数组合保障建模质量 [13][14] 实验验证与应用效果 - 在仿真环境中,使用7自由度Franka机器人测试,模型渲染图像的峰值信噪比达31.22,结构相似性达0.988,倒角距离低至2.761×10⁻⁴ [15] - 在物理实验中,使用4自由度OpenManipulator机器人成功重建可信模型,准确捕捉基本运动特性和外观特征 [17] - 该模型可直接用于下游任务,如在“目标到达”和“避障运动”任务中实现精准定位和安全路径规划 [20][22] 技术突破与行业意义 - 首次将3DGS技术应用于机器人自建模,仅通过RGB图像完成三维重建,大幅降低数据采集成本 [23] - 实现连杆级建模,通过神经骨骼自动识别连杆空间位置与运动学连接,同步还原形态、运动学与表面颜色 [23] - 模型直接可控,无需额外训练即可用于下游任务,实现了建模与控制的一体化 [23]