Workflow
SpatialRetrievalAD
icon
搜索文档
AI Day直播 | 自动驾驶空间检索新范式SpatialRetrievalAD
自动驾驶之心· 2025-12-17 11:18
文章核心观点 - 现有自动驾驶系统依赖实时车载传感器,在视野受限、遮挡或极端天气条件下性能受限,而人类驾驶员具备利用道路记忆的能力 [2] - 复旦大学等机构提出一种新范式,通过引入离线检索的地理图像(如谷歌地图)作为额外输入,赋予自动驾驶模型“回忆”能力,这是一种低成本、高鲁棒且即插即用的感知增强方案 [2] - 该方法在多个核心自动驾驶任务上建立了基准测试,实验表明能有效提升部分任务的性能,并将开源相关代码、数据和基准以支持后续研究 [3] 技术方案与数据构建 - 技术核心是将离线检索的地理图像作为额外输入引入自动驾驶系统,图像可从谷歌地图API或已存储的自动驾驶数据集中轻松获取,无需额外传感器 [2] - 在实验中,通过谷歌地图API检索地理图像,扩展了nuScenes数据集,并将新数据与自车轨迹进行对齐 [3] - 构建了名为“nuScenes-Geography”的离线记忆库,数据来源包括街景、卫星图和历史数据 [10] 性能提升与实验结果 - 该方法在五个核心自动驾驶任务上建立了基准:目标检测、在线建图、占用预测、端到端规划和生成式世界模型 [3] - 在线建图任务的mAP提升了13.4% [3] - 占用预测任务中,静态类的mIoU提升了2.57% [3] - 夜间端到端规划任务的碰撞率从0.55%降至0.48% [3] - 大量实验表明,该扩展模态能够提升部分任务的性能 [3] 研究影响与后续计划 - 该工作通过空间召回(Spatial Retrieval)的方式,大幅提高了感知、决策和生成式仿真性能 [10] - 研究团队将开源数据集构建代码、数据及基准测试,旨在为这一新自动驾驶范式的后续研究提供支持 [3] - 该研究被总结为“长时记忆世界模型,赋予决策系统‘回忆’能力” [7]