Workflow
DistillDrive
icon
搜索文档
闭环碰撞率爆降50%!DistillDrive:异构多模态蒸馏端到端新方案
自动驾驶之心· 2025-08-12 07:33
端到端自动驾驶技术发展 - 端到端自动驾驶近年来发展迅速,对工业界和学术界均产生深远影响,但现有工作过度关注自车状态作为唯一学习目标,缺乏面向规划的理解能力 [2] - DistillDrive框架通过异构蒸馏显著降低自动驾驶碰撞率50%,闭环性能提升3个百分点 [2] - 与感知分离的规划模型相比,端到端模型直接从传感器输入学习到最终规划决策,减少级联误差但闭环表现较差 [3] DistillDrive技术创新 - 采用多模态解耦规划模型作为教师模型,通过知识蒸馏监督端到端模型的运动引导实例交互 [6] - 引入强化学习优化状态到决策的映射关系,利用生成式建模构建面向规划的实例 [6] - 主要贡献包括:多模态实例监督蒸馏架构、基于强化学习的状态优化、生成模型实现的分布级交互 [7] 技术实现细节 - 教师模型包含智能体编码器、场景编码器、规划解码器、预测头和状态优化模块 [20] - 学生模型采用稀疏场景表示和生成模型中的规划导向交互,通过KL散度监督分布 [25][27] - 知识蒸馏架构包含编码器实例蒸馏、解码器实例蒸馏和运动属性蒸馏三阶段 [30] 实验验证结果 - 在nuScenes数据集上碰撞率降低50%,L2误差减少10%,闭环性能提升3个百分点 [37] - NAVSIM数据集上PDMS指标比Transfuser高出2.5%,DAC和EP指标显著提升 [38] - 感知性能与SparseDrive相当,但在IDS等指标上有所提升 [39] 行业技术发展 - 端到端自动驾驶技术快速发展,UniAD利用注意力机制集成检测跟踪建图,VAD通过向量化表示平衡准确性与性能 [9] - 知识蒸馏在自动驾驶规划领域应用广泛,Roach、PlanKD和Hydra-MDP等采用不同蒸馏策略 [11] - 强化学习在CARLA等仿真环境中应用成熟,结合模仿学习可防止分布外值过度估计 [14][16] 未来发展方向 - 计划将世界模型与语言模型结合提升规划性能 [55] - 采用更有效的强化学习方法理解场景语义几何空间与决策规划空间关系 [55] - 行业正形成大模型、VLA、端到端、数据闭环等技术交流社区,涵盖30+技术方向 [58][60]