Workflow
端到端自动驾驶策略KDP
icon
搜索文档
端到端再进化!用扩散模型和MoE打造会思考的自动驾驶Policy(同济大学)
自动驾驶之心· 2025-09-15 07:33
自动驾驶技术范式演进 - 端到端技术直接映射传感器输入到驾驶操作,跳过人为感知标注和层级信息损失,但现有方法面临多模态分布处理不足、生成平均化动作导致不安全行为的问题[2] - 强化学习方法能在不确定性下优化策略,但对数据需求极高、训练不稳定且难以扩展到高安全性真实道路场景[2] - 大模型如视觉-语言模型和视觉-语言-动作模型在场景理解和泛化能力表现不错,但实际连续控制中受推理速度慢、动作不连贯和安全性保障难度大的限制[2] 扩散模型在自动驾驶中的应用 - 扩散策略将动作生成视为逐步去噪过程,能更好表达多种驾驶选择并保持轨迹时序一致性和训练稳定性[3] - 扩散模型通过直接建模输出动作空间,为生成平滑可靠驾驶轨迹提供更强大灵活的思路,适合解决驾驶决策多样性和长期稳定性问题[3] - 在机器人控制领域,扩散策略已证明比传统模仿学习和强化学习方法更鲁棒稳定,将轨迹生成问题转变为生成式建模问题[12] 专家混合技术集成 - 专家混合技术通过按需激活少量专家,使模型在保持计算效率同时具备更强扩展性和模块化能力[3] - 在自动驾驶中,MoE被尝试用于多任务策略和模块化预测,但多数设计面向具体任务,限制专家复用性和灵活组合能力[3] - 将MoE融入扩散策略可构建抽象驾驶知识模块,实现真正面向端到端自动驾驶的知识驱动策略框架[15] 知识驱动扩散策略框架 - KDP框架结合扩散模型和MoE优点:扩散模型保证生成轨迹多样性和稳定性,MoE将专家组织成结构化知识单元如纵向控制、交互处理和横向规划[4] - 框架注重知识灵活复用和组合而非任务中心设计,实验证明在多样性、稳定性和泛化性上具有优势[4][6] - 采用端到端思路直接将驾驶环境观测生成控制动作,输入包括自车状态、LiDAR点云和高层导航指令,提供完整环境理解[18] 模型架构与性能 - 模型规模研究表明参数量与驾驶性能正相关:Giant模型1.559亿参数推理延迟81.61毫秒,成功率最高但仍满足实时要求[44][46][48] - 在匝道场景成功率100%零碰撞,交叉口场景成功率94%,环岛场景成功率90%,全面优于PPO-Lag、RPID和IBC基线模型[51][57] - 消融实验显示去除MoE路由器导致成功率下降约6%,移除知识正则化使80%计算集中在两个专家,减少扩散步数从100步到20步使成功率下降3%[54][55][56] 专家激活模式分析 - 时间维度激活呈现稀疏阶段性特点,激活峰值与驾驶任务关键阶段吻合:匝道场景中Expert 3负责纵向控制,交叉口场景Expert 1和5负责交互决策[62] - 场景层级专精与复用显示非均匀但非排他分布:Expert 3专精匝道、Expert 5专精交叉口、Expert 6和8专精环岛,Expert 1和4在多场景复用[64] - 稀疏专家路由机制具备较强环境适应性和知识组合能力,在未调优情况下能在多种复杂路况中平稳运行[70] 典型案例表现 - 匝道合流场景在卡车加塞前成功预判并平稳减速保持安全间距,展现稳定纵向控制能力[69] - 无保护左转场景在交叉口平稳减速等待安全间隙后完成左转,轨迹平滑自然[69] - 直行交互场景面对多车高速抢行动态调整策略确保安全通行[69] - 环岛三出口场景精准控制横向位置和角度,在高复杂度环岛中选择正确出口[69]