Workflow
ParkRecon3D
icon
搜索文档
小米&杭电提出ParkGaussian:业内首个泊车场景重建算法,效果还不错
自动驾驶之心· 2026-01-07 17:44
ParkGaussian技术方案概述 - 小米汽车与杭州电子科技大学联合提出首个专为泊车场景三维重建设计的框架ParkGaussian,该框架将3D高斯泼溅技术适配于环视鱼眼传感器,并创新性地引入车位感知重建策略,以提升下游车位检测任务的性能[2][5][8] - ParkGaussian的核心贡献包括构建了首个泊车场景重建基准数据集ParkRecon3D,提出了融合无迹变换投影与可微分逆透视映射的技术方案,以及通过车位检测器提供任务驱动的监督信号,优化关键区域的重建保真度[8][13][16][20] ParkRecon3D基准数据集 - 该数据集基于AVM-SLAM开源数据扩展,采集于一个面积约24200平方米(220米×110米)、包含超过430个停车位的地下停车场,旨在解决泊车场景缺乏专用三维重建数据集的问题[11] - 数据集包含超过4万帧同步的多鱼眼相机图像(分辨率1280×960,采集频率10Hz)、6万个经过人工验证的停车位标注,以及通过COLMAP标定的相机外参,为模型训练与评估提供了全面的数据基础[5][8][11] 技术创新与核心方法 - **无迹变换投影**:为解决鱼眼相机强畸变下的投影问题,ParkGaussian集成了基于无迹变换的投影方法,无需为每个相机模型推导雅可比矩阵,在复杂条件下能生成更稳定的2D高斯足迹,提升了地下停车场景的几何重建稳定性[13][14][15] - **可微分逆透视映射**:通过一个完全可微分的IPM模块,将渲染的环视鱼眼图像转换为与下游检测器几何假设统一的鸟瞰图表示,使梯度能够反向传播至3D高斯表示,实现重建过程与下游感知任务的直接对齐[16][18][19] - **车位感知重建策略**:策略利用预训练的车位检测器(DMPR-PS和GCN-Parking)提取结构特征,通过构建混合车位感知权重图,将监督焦点集中在车位角点及边缘等高置信度关键几何区域,从而同步优化重建的视觉保真度与感知对齐度[20][25][32][33] 实验性能与结果 - **新视图合成质量**:在ParkRecon3D数据集上,ParkGaussian取得了最先进的渲染质量指标,例如在Scene1中,结合GCN-Parking的变体获得了PSNR 30.09、SSIM 0.93、LPIPS 0.20的优异表现,显著优于3DGUT、OmniRe等基线方法[47][48] - **下游车位检测性能**:车位感知重建策略大幅提升了停车位检测的精确率与召回率,例如在Scene1中,使用完整策略的ParkGaussian配合GCN-Parking检测器,精确率达到0.97,召回率达到0.43,接近在真实图像上的检测性能(精确率0.99,召回率0.49)[49][50] - **消融实验验证**:消融研究表明,完整的车位感知策略(融合教师-学生加权与分布对齐)在渲染质量与下游任务性能上均优于仅使用IPM监督、仅特征级监督或单一权重监督的变体,证实了结构先验与预测一致性结合的重要性[52][53][54] 行业意义与应用前景 - 该研究针对自动驾驶泊车这一关键任务,首次系统性地解决了地下停车场等无GPS、狭窄拥挤场景的高质量三维重建与仿真难题,弥补了现有驾驶仿真器主要关注道路场景的不足[2][3][4] - ParkGaussian框架及ParkRecon3D数据集为自动泊车系统的开发、训练与性能评估提供了高保真、与感知任务对齐的仿真工具,有望推动泊车感知、规划与控制等下游算法的进步[5][8][57]