文章核心观点 - 文章汇总了近期自动驾驶领域11篇结合视觉-语言-行动模型与强化学习的研究工作，指出行业研究重点已从传统的监督微调转向强化学习，以提升模型的泛化与推理能力，并解决幻觉问题 [2] - 这些研究来自全球顶尖高校与领先科技及汽车公司，代表了业界头部的研究方向 [2] 各研究模型核心贡献与性能总结 MindDrive (华中科技大学、小米汽车) - 核心贡献：提出双专家架构，通过决策专家进行场景推理与语言决策，动作专家将决策映射为轨迹，将连续动作空间转化为离散语言决策空间以提升在线强化学习效率 [6] - 性能表现：在Bench2Drive基准上，使用轻量级Qwen-0.5B模型实现了78.04的驾驶分数与55.09%的成功率，超越了同规模的最先进模型 [6] WAM-Diff (复旦大学、银王智能科技有限公司) - 核心贡献：采用离散掩码扩散迭代优化未来轨迹，结合稀疏混合专家架构和GSPO在线强化学习 [7] - 性能表现：在NAVSIM基准上实现了优异的性能 [7] LCDrive (得克萨斯大学奥斯汀分校、NVIDIA、斯坦福大学) - 核心贡献：设计潜在思维链推理机制，使用动作提议令牌与潜在世界模型令牌在向量空间模拟反事实未来，提升推理效率与精度 [12] - 性能表现：在PhysicalAI-AV数据集上验证，相比文本链推理基线，实现了更快推理、更优轨迹质量与更强的强化学习提升效果 [12] Reasoning-VLA (兰州大学、新加坡国立大学、中国科学技术大学、清华大学、新南威尔士大学) - 核心贡献：设计可学习动作查询与视觉语言模型跨注意力交互，支持一步并行生成连续轨迹；融合8个公开自动驾驶数据集构建统一训练数据以提升泛化能力 [13] - 训练策略：采用监督微调与强化学习两阶段训练，结合物理轨迹与车辆动力学奖励 [14] Alpamayo-R1 (NVIDIA) - 核心贡献：构建因果链数据集，提供高质量的决策接地因果推理轨迹；设计模块化架构，融合物理AI预训练的视觉语言模型骨干与流匹配轨迹解码器 [18] - 性能表现：实现99毫秒的实时推理延迟；在闭环仿真中，越野率降低35%，近距离接触率降低25% [18] AdaThinkDrive (清华大学、小米汽车、澳门大学、南洋理工大学、北京大学) - 核心贡献：设计“快速响应/慢速思考”双模式自适应推理机制，让模型根据场景复杂度动态选择直接预测或思维链推理 [20] - 性能表现：在Navsim基准测试中取得90.3的PDMS分数，较最优视觉基线提升1.7点，同时较“始终推理”基线减少14%推理时间 [20] AutoDrive-R² (阿里巴巴集团、昆士兰大学、兰州大学、凯斯西储大学) - 核心贡献：构建nuScenesR²-6K数据集，采用“观察-计算-逻辑推理-反思验证”四步逻辑链；设计融合空间对齐、车辆动力学和时间平滑性的物理基奖励框架 [25] - 性能表现：在nuScenes和Waymo数据集上实现最先进性能，7B版本平均L2误差低至0.20米，零样本迁移能力突出，较EMMA+等模型降低33.3%误差 [25] IRL-VLA (博世（中国）投资有限公司、上海大学、上海交通大学、博世汽车部件（苏州）有限公司、清华大学) - 核心贡献：提出轻量级奖励世界模型，基于逆强化学习从多模态数据中学习奖励结构，规避对仿真器的依赖；设计融合语义推理、3D推理与扩散规划器的视觉-语言-行动架构 [31] - 性能表现：在NAVSIM v2基准上取得最先进性能，并获得CVPR2025自动驾驶挑战赛亚军 [31] DriveAgent-R1 (上海启智研究院、理想汽车、同济大学、清华大学) - 核心贡献：首次将主动感知应用于高级行为规划，设计含检索视图、感兴趣区域检查等工具的视觉工具包；提出结合文本推理与工具增强推理的混合思维框架 [32] - 性能表现：仅3B参数就达到与GPT-5和人类驾驶相当的性能，在Drive-Internal测试集上使用工具后准确率提升6.07%，推理延迟较被动感知方法降低20%以上 [32] Drive-R1 (中国科学技术大学、华为诺亚方舟实验室) - 核心贡献：构建涵盖交通知识理解等五大领域的RP-COT数据集，提供长短链推理标注；设计基于GRPO的强化学习机制，结合多维度奖励对齐推理与规划 [37] - 性能表现：在nuScenes和DriveLM-nuScenes基准上实现最先进性能 [37] ReCogDrive (华中科技大学、小米汽车) - 核心贡献：设计生成、精炼、质控三阶段分层数据管道，构建大规模视觉问答数据集以注入驾驶先验；提出认知引导扩散规划器，将视觉语言模型语义转化为连续轨迹 [38] - 性能表现：在NAVSIM等基准实现最先进性能 [38]

小米汽车技术进展概述 - 小米汽车自2021年9月成立至2025年6月YU7发布，四年内在新能源领域快速发展[2] - 2025年下半年行业竞争焦点集中在智能驾驶、性价比及座舱体验，小米智驾正迎头赶上，新版本即将发布[2] - 2025年小米汽车团队在学术研究上成果显著，论文工作涉及VLA、世界模型、端到端等多个前沿方向，包括ORION、WorldSplat、EvaDrive、Dream4Drive等，探索生成模型在自动驾驶中的落地应用[2] 视觉语言行动模型与端到端驾驶 - **AdaThinkDrive**：引入"快速应答/慢速思考"双模式推理机制，在NAVSIM基准测试中PDMS达90.3，超越最佳纯视觉基线1.7分，在96%复杂场景使用CoT，84%简单场景直接输出轨迹，推理效率提升14%[6] - **EvaDrive**：采用进化对抗策略优化框架，实现轨迹生成与评估的闭环共进化，在NAVSIM v1上PDMS达94.9，Bench2Drive驾驶分数64.96，超越DiffusionDrive等方法[9] - **MTRDrive**：通过记忆-工具协同推理框架提升决策鲁棒性，在NAVSIM和Roadwork-VLM基准上表现出色，有效缓解幻觉问题[14] - **ReCogDrive**：融合VLM认知推理与强化学习增强的扩散规划器，在NAVSIM基准PDMS达90.8，推理速度较纯文本VLM方法提升7.8倍[18] - **ORION**：通过视觉语言模型指导动作生成，在Bench2Drive数据集驾驶分数77.74，成功率54.62%，较之前最优方法提升14.28分和19.61%[23] - **AgentThink**：将动态工具调用与思维链推理结合，在DriveLMM-o1基准整体推理分数提升53.91%，答案准确率提升33.54%[22] 世界模型与场景生成 - **Dream4Drive**：首创3D感知引导的合成数据生成框架，仅插入420个样本（不足真实数据2%）即可提升感知任务性能，在1×训练轮数下mAP从34.5提升至36.1，NDS从46.9提升至47.8[26] - **WorldSplat**：采用高斯中心化前馈式4D场景生成框架，在nuScenes数据集取得最优FVD与FID指标，支持多视角驾驶视频生成[31] - **ViSE**：通过视觉街景外推框架在ICCV 2025 RealADSim-NVS挑战赛综合得分0.441，PSNR达18.228，SSIM 0.514，LPIPS降至0.288[30] - **ExtraGS**：融合几何先验与生成先验，在Waymo数据集NTA-IoU达0.592，NTL-IoU达58.49，nuScenes外推FID@3m降至77.19[35] - **Genesis**：实现多视角视频与LiDAR点云序列联合生成，在nuScenes基准视频生成FVD 16.95、FID 4.24，LiDAR生成Chamfer距离0.611[41] - **Uni-Gaussians**：统一高斯表示方法结合光栅化与光线追踪，在Waymo数据集实现相机与LiDAR数据高效仿真[42] - **CoGen**：通过3D语义条件生成框架提升视频生成3D一致性，在nuScenes数据集FVD指标最优[44] - **MiLA**：实现长达一分钟多视角高保真视频生成，在nuScenes数据集FID与FVD指标达到最先进水平[48] 运动风险预测与感知增强 - **DriveMRP**：基于BEV运动仿真方法合成高风险运动数据，零样本评估准确率从基线29.42%大幅提升至68.50%，增强VLM在长尾场景的风险预测能力[13][15] 深度估计技术 - **Pixel-Perfect Depth**：采用像素空间扩散生成模型，在NYUv2、KITTI等基准AbsRel最低达4.1%，δ1准确率最高97.7%，边缘感知点云Chamfer距离仅0.08[51]

自动驾驶VLA技术突破 - 提出AdaThinkDrive框架 通过双模式推理机制实现自适应思考 在简单场景采用快速回答模式 在复杂场景启用慢速思考模式[3][4][11] - 基于强化学习的自适应思考奖励策略 结合GRPO算法优化模型选择性应用CoT的行为 实现准确率与效率平衡[4][33][34] - 在Navsim基准测试中PDMS达到90.3 较最佳纯视觉基线模型提升1.7分 推理时间较"始终思考"基线减少14%[4][50][58] 技术实现细节 - 采用三阶段训练流程：大规模驾驶数据预训练获取世界知识与驾驶常识 双模式SFT数据集微调 强化学习优化自适应推理策略[17][24][31] - 输入包含前视图像、导航指令、自车状态及历史轨迹 支持思考与非思考两种推理模式联合分布输出[21][26][32] - 奖励设计包含PDMS奖励、格式奖励、端点奖励和自适应思考奖励四组件 加权整合优化策略模型[34][35][36][37][38] 性能验证结果 - 在Navsim数据集验证 较"永不思考"基线PDMS提升2.0分 较"始终思考"基线提升1.4分 在96%复杂场景启用CoT 84%简单场景采用直接预测[4][56][58] - 仅视觉输入性能与多模态方法GoalFlow相当 PDMS达90.3 Best-of-N规划策略下进一步提升至93.0创基准最高分[50][55] - 消融实验显示预训练阶段使PDMS提升1.3分 强化学习阶段进一步提升2.8分 自适应思考奖励是关键组件[63][64][65] 行业技术背景 - 自动驾驶系统向端到端架构演进 VLM模型通过大规模预训练提升场景理解能力 CoT技术增强可解释性与轨迹质量但存在简单场景过度推理问题[7][10][14] - 现有自适应CoT触发方法主要基于强化学习 分为简洁推理、动态早期终止和按需推理三类 需根据高速公路巡航或路口拥堵等不同场景复杂度调整[16][33] - InternVL3-8B作为基础模型 训练使用64块NVIDIA H20 GPU 三阶段学习率从1×10⁻⁵逐步降至2×10⁻⁶[48][52]