文章核心观点 - 华科与小米团队提出了一种名为MindDrive的新型自动驾驶视觉-语言-动作框架，该框架创新性地采用在线强化学习进行训练，有效解决了传统模仿学习方法面临的分布偏移和因果混淆等挑战，并在Bench2Drive基准测试中取得了优异的性能，驾驶得分达78.04分，成功率达55.09% [2][4][8][17][34] 背景与挑战 - 当前自动驾驶视觉-语言-动作模型主要依赖模仿学习，这会导致因果混淆和分布偏移，进而在闭环驾驶中产生不可逆的误差累积 [4] - 将在线强化学习应用于自动驾驶VLA模型面临连续动作空间中探索效率低下的难题 [2] - 现有强化学习应用分为两类：在动作空间使用离线强化学习，限制了模型与环境交互探索的能力；在语言空间使用在线强化学习，但难以将驾驶决策有效映射为类人的具体驾驶轨迹 [5] MindDrive框架设计 - MindDrive的核心架构包含两个共享视觉编码器和文本分词器、但配备不同LoRA参数的大语言模型：一个作为决策专家负责场景推理和驾驶决策，另一个作为动作专家负责将语言决策动态映射为可行驶轨迹 [2][8][11] - 该框架通过将轨迹级奖励反馈至推理空间，使模型能在有限的离散语言驾驶决策集合上进行试错学习，而非直接在连续动作空间中操作，从而平衡了最优决策、类人驾驶行为与探索效率 [2][8] - 训练过程分为两个阶段：首先通过模仿学习在决策专家推断的元动作与动作专家输出的轨迹之间建立一一对应关系，为在线强化学习提供高质量候选轨迹；随后利用在线强化学习对决策专家进行优化 [8][11][18] 在线强化学习实施方案 - 基于CARLA仿真器构建了面向VLA模型的在线闭环强化学习框架，定义了明确的任务成败信号，并将过程划分为数据收集和训练两个阶段 [8] - 采用稀疏奖励函数：成功到达目的地奖励+1，触发碰撞、闯红灯等预定义惩罚事件奖励-1，其他情况奖励为0 [25][26] - 采用近端策略优化算法优化策略，并引入KL散度损失作为正则化项以缓解强化学习微调阶段的灾难性遗忘问题 [28][30][32] - 通过视觉编码器预计算场景令牌作为紧凑状态表示，降低了内存开销，支持大批量训练，并将过程表述为标准马尔可夫决策过程 [8][15] 实验结果与性能 - 在Bench2Drive基准测试中，MindDrive取得了78.04的驾驶得分和55.09%的成功率 [2][17][34] - 即使采用轻量级的Qwen2-0.5B参数模型，其驾驶得分比相同参数规模的强基线模型高出5.15分，成功率高出9.26个百分点 [2][34] - 相较于仅使用模仿学习的版本，在线强化学习使驾驶得分提升2.19分，成功率提升5.79个百分点 [34][38] - 在视觉-语言-动作范式中，MindDrive性能与使用更大规模模型的最先进模仿学习方法相当，并超越了其他离线强化学习方法 [34][38] 消融实验发现 - 逐步引入碰撞、交通灯、路线偏离、停车等惩罚事件能持续提升模型性能，最终版本相比模仿学习基准成功率提升5.79个百分点 [36] - 在线强化学习过程中，将滚动次数设为2次能取得最佳性能，过多滚动会导致灾难性遗忘和性能下降 [37] - 采用KL散度正则化的PPO算法相比基础PPO和熵正则化PPO，能更有效地稳定训练，驾驶得分分别提升3.31分和2.33分 [40] - 使用大语言模型生成的元动作作为高层指令，相比使用导航指令，驾驶得分提升7.74分；在此基础上引入在线强化学习可进一步优化元动作选择 [41] 意义与贡献 - 据研究团队所知，这是首个证实在线强化学习对自动驾驶视觉-语言-动作模型有效性的研究，也是首个在仿真器中通过在线强化学习训练的基于VLA的自动驾驶模型 [2][8][44] - 该工作为自动驾驶领域带来了新的启发，展示了通过语言接口和在线试错来提升模型因果推理与决策鲁棒性的潜力 [8][44]