文章核心观点 - 当前主流端到端自动驾驶系统存在模仿学习范式导致的“模式坍塌”问题，即模型倾向于生成高度聚集在单一专家轨迹附近的行为，缺乏真正有意义的行为多样性，限制了在复杂场景下的决策能力 [2][7] - 研究团队提出了一种名为DIVER的新型多模态规划框架，该框架将扩散模型的多模态生成能力与强化学习的目标约束机制相结合，将轨迹生成从“单一模仿回归问题”转化为“在安全与多样性约束下的策略生成问题” [3][9] - DIVER框架在多个公开基准测试中表现优异，在显著提升轨迹多样性的同时保持了低碰撞率，展现出更强的复杂场景适应能力，为构建更灵活、更接近人类决策的自动驾驶系统提供了新的技术路径 [3][33][34] 研究背景与问题 - 端到端自动驾驶系统在真实测试中表现出行为过于保守和模式单一的问题，难以应对复杂交通场景 [5] - 问题的根源在于主流方法依赖单一专家示范的模仿学习范式，模型被迫去拟合一条“唯一正确”的专家轨迹，即使引入多模态规划，生成的候选轨迹也高度聚集在真实轨迹附近，缺乏真正的行为多样性 [2][6][7] - 人类驾驶在相同场景下会展现出减速、并线、绕行或等待等多种行为，当前模型缺乏这种在行为多样性与安全约束之间取得平衡的能力 [8] DIVER框架核心技术 - 核心思想是不再把轨迹生成当作拟合真实轨迹的回归问题，而是当作在安全与多样性约束下的策略生成问题 [11][12] - 框架构建了“扩散生成 + 强化学习优化”的完整流程，主要包括：策略感知扩散生成器、参考真实轨迹引导的多模态扩散、以及基于GRPO的强化学习优化 [11][12] - 策略感知扩散生成器是核心模块，它在扩散去噪过程中引入地图、动态物体、参考轨迹等条件信息，使生成的每条轨迹都具备清晰语义与可行性 [16][18] - 采用多参考真实轨迹引导机制，从专家轨迹中构建多个参考真实轨迹，并使用匈牙利匹配进行一对一监督，为每个预测模式明确赋予一种驾驶意图，从源头上避免模式坍塌 [20][21] - 采用分组相对策略优化强化学习方法，为生成的轨迹引入多样性、安全、轨迹一致性与车道保持等多种轨迹级奖励，确保在探索多样性的同时保持驾驶质量 [22] 性能评估与结果 - 在Bench2Drive闭环评测中，DIVER在多项关键指标上显著优于UniAD、VAD、SparseDrive、DiffusionDrive等方法 [28] - 在Turning-nuScenes数据集的评测中，DIVER的轨迹多样性显著更高，同时碰撞率最低。例如，在平均多样性指标上达到0.31，优于对比方法的0.21、0.23和0.20；平均碰撞率为0.27%，低于对比方法的0.40%、0.34%和0.32% [29][30][31] - 在nuScenes验证集的6秒长时预测任务中，DIVER在多样性上大幅领先，同时保持最低碰撞率。例如，在3秒时多样性为0.75，碰撞率为1.91%，均优于对比方法 [32] - 文章总结DIVER展示了显著更高的轨迹多样性、更低的碰撞率、更稳定的长时规划能力以及更强的复杂场景泛化能力 [33][36]

文章核心观点 - 提出一种名为FutureX的新型端到端自动驾驶框架，该框架通过将思维链推理融入潜在世界模型，在执行运动规划前对假设的未来场景进行推理，从而在复杂动态交通环境中生成更安全、更合理的运动规划 [3][8][30] - FutureX的核心创新在于引入了“潜在思维链推理”概念，将推理步骤与潜在世界模型的前向滚动预测相结合，并设计了“自动思考开关”来根据场景复杂度动态选择“思考模式”或“即时模式”，以平衡性能与实时性需求 [3][6][8] - 实验表明，FutureX能显著提升现有端到端基线模型的性能，例如在NAVSIM数据集上，使TransFuser的预测驾驶员模型得分提升了6.2，并在多项指标上达到当前最优性能 [3][13][27] 背景回顾：端到端自动驾驶的挑战与机遇 - 端到端自动驾驶系统通过单一神经网络直接将传感器输入映射为控制输出，执行高效的一次性前向预测，但缺乏在复杂环境中的适应性和可解释性 [5] - 人类驾驶员在决策前会进行未来场景模拟，这种内在推理能力对于在高度动态的交通环境中做出安全决策至关重要，而现有端到端系统缺乏这种能力 [5] - 受大型语言模型中思维链机制的启发，自动驾驶领域开始探索将推理融入规划，但现有方法多停留在文本描述层面，未能与实际的规划和控制过程紧密结合 [6] FutureX框架方法论 - **自动思考开关**：评估当前场景的规划难度，决定是否激活潜在世界模型进行额外推理，以在复杂场景中优化轨迹，在简单场景中快速响应 [7][8][18] - **思考模式**：当开关激活时，潜在世界模型执行思维链引导的滚动预测，生成一系列未来场景的潜在表征，随后由总结网络利用这些未来信息优化初始轨迹 [3][7][12] - **即时模式**：当开关判断为简单场景时，系统绕过世界模型，直接通过策略网络和总结网络快速生成运动规划 [3][7] - **潜在思维链推理**：将思维链重新定义为在潜在特征空间内进行的、可学习的“世界模型-策略”循环，每个推理步骤对应世界模型基于一个短期子轨迹进行的未来状态模拟 [6][9][16] - **基于思考的轨迹优化**：总结网络以初始轨迹和思维链推理生成的未来潜在状态序列为输入，预测轨迹偏移量，输出优化后的最终轨迹 [17] 实验验证与性能表现 - 在NAVSIM数据集上，FutureX使TransFuser的预测驾驶员模型得分提升了6.2 [3] - 在CARLA的Longest6基准测试中，FutureX在纯视觉和视觉-激光雷达多模态设置下均超越了强大的基线模型（如UniAD、VADv2、TransFuser等），在无过错碰撞、可行驶区域合规、自我进度等多个关键指标上达到最优 [27] - 定性结果显示，FutureX能够通过及时刹车或变道超车来避免碰撞，并能提供更合理的转向规划 [28] - 在效率方面，FutureX通过自动思考开关实现了性能与延迟的平衡，例如在特定配置下，其延迟为31.3毫秒±0.6毫秒，同时PDMS得分达到89.2 [29]

文章核心观点 - 南洋理工大学与哈佛大学联合提出名为OpenREAD的全新框架，旨在通过强化学习全面提升视觉语言大模型在自动驾驶领域的推理与规划能力[4] - 该框架的核心创新在于，通过引入大语言模型作为“评判专家”，将强化学习的应用范围从传统的、可验证的轨迹规划任务，成功拓展至“驾驶建议”、“场景分析”等开放式知识学习任务，实现了高层语义推理与低层轨迹规划的端到端协同强化微调[6] - 实验结果表明，该框架在驾驶知识评测和轨迹规划任务上均取得了当前最优的性能，证明了协同学习驾驶知识与轨迹规划的必要性和有效性[6][17][28] 方法 - **数据准备与冷启动**：为应对开放式知识学习的奖励设计挑战，研究构建了带显式思维链的驾驶知识数据，并将OmniDrive数据集转换为适用于强化学习的“思考+回答”格式[7][8][9]。随后利用带思维链的数据进行监督微调，为模型提供冷启动，使其获得基础的思考与推理能力[12] - **引入大语言模型作为奖励函数**：在强化学习微调阶段，引入Qwen3-LLM作为“评判专家”，由其判断模型生成答案与参考答案是否一致，并给予0或1的奖励[12]。同时，计算生成答案与参考答案的嵌入向量余弦相似度作为额外奖励，形成“专家判断+语义相似度”的双重奖励机制，以鼓励模型输出既正确又简洁的高质量回答[12] - **驾驶知识与轨迹规划的协同训练**：框架将强化学习同时应用于驾驶知识推理与轨迹规划任务[13]。对于轨迹规划，设计了基于轨迹误差的奖励函数，对近距离时间点的误差要求更严格，对远距离误差更宽容，以平衡安全性与规划精度[13]。在训练中，为批次内不同类型的任务分别计算奖励，最后综合用于更新模型参数，促使模型在知识推理与路径规划间建立联系[13] 实验结果 - **协同训练效果验证**：在LingoQA和NuScenes数据集上的实验表明，仅使用轨迹规划任务时，强化学习微调带来的提升有限[17]。随着引入驾驶知识数据进行协同训练，强化学习微调的效果显著增强[17]。在最终使用轨迹规划、伪轨迹分析和LingoQA数据协同训练2个周期后，强化学习微调模型在轨迹平均L2误差、碰撞率和知识评测上均超越了监督微调模型[19]。具体表现为：平均L2误差从监督微调的0.44米降至0.40米，平均碰撞率从0.18%降至0.11%，LingoQA知识评测准确率从68.0%提升至68.8%[19] - **轨迹规划性能对比**：在NuScenes开环评测中，OpenREAD的轨迹规划性能优于多种现有方法[20]。其3秒时的L2误差为0.63米，平均碰撞率为0.11%，在碰撞控制方面表现出色，保证了驾驶安全性[21]。与同样使用GRPO进行强化学习微调的AutoVLA相比，OpenREAD在轨迹误差和碰撞率控制上均更优，突显了引入驾驶知识对下游任务的重要性[20] - **驾驶知识评测对比**：在LingoQA驾驶知识评测中，OpenREAD取得了当前最优的表现，其Lingo-Judge准确率达到68.2%，超过了其他对比模型如ReCogDrive（67.8%）和WiseAD（60.4%）[22]

核心观点 - 华科王兴刚教授团队提出DiffusionDriveV2，通过引入强化学习解决了其前代模型DiffusionDrive在端到端自动驾驶轨迹规划中面临的“多样性与持续高质量”两难困境 [1][3] - 该方法创新性地结合了锚点内GRPO、锚点间截断GRPO与尺度自适应乘法探索噪声，在保留多模态生成能力的同时，显著提升了轨迹的整体输出质量与安全性 [4][12] - 在NAVSIM v1和v2数据集的闭环评估中，DiffusionDriveV2结合ResNet-34主干网络取得了当前最优性能，PDMS分别达到91.2和85.5，创下新纪录 [4][33] 技术背景与问题 - 端到端自动驾驶（E2E-AD）直接从原始传感器输入学习驾驶策略，是当前发展浪潮 [5] - 传统单模态规划器仅回归单一轨迹，无法提供备选方案；基于选择的方法使用静态候选轨迹库，灵活性有限 [5] - 原始扩散模型应用于轨迹生成时面临模式崩溃（mode collapse）问题，倾向于生成保守且单一的轨迹，无法捕捉未来多样性 [5][13] - DiffusionDrive通过预定义轨迹锚点构建高斯混合模型先验，将生成空间划分为对应不同驾驶意图的子空间，从而促进多样化行为生成 [5][13] - 但DiffusionDrive依赖模仿学习，其训练目标仅优化与专家轨迹最接近的“正模式”，对占样本绝大多数的“负模式”缺乏约束，导致生成大量低质量甚至碰撞的轨迹，无法保证持续高质量 [8][17][18] DiffusionDriveV2核心方法 - **整体架构**：采用DiffusionDrive作为预训练的轨迹生成器进行冷启动，引入强化学习目标对所有生成模式施加约束并推动探索 [19][21] - **尺度自适应乘法探索噪声**：为解决轨迹近端与远端尺度不一致问题，采用纵向与横向乘法高斯噪声替代加法噪声，生成的探索路径更平滑，保留了轨迹连贯性 [24] - **锚点内GRPO**：为避免不同驾驶意图（如直行与转弯）间不当的优势比较导致模式崩溃，仅在每个锚点内部生成的轨迹变体组内执行GRPO策略更新 [9][24] - **锚点间截断GRPO**：为解决锚点内GRPO优势估计丧失全局可比性的问题，修改优势估计，将所有负优势截断为0，并对发生碰撞的轨迹施加-1的强惩罚，原则是“奖励相对改进，仅惩罚绝对失败” [27][28] - **模式选择器**：采用两阶段“粗到细”评分器，结合二元交叉熵损失和Margin-Rank损失，从多模态预测中选择最优轨迹 [29] 实验结果与性能 - **基准测试成绩**：在NAVSIM v1测试集上，PDMS达到91.2，相比DiffusionDrive提升3.1；在NAVSIM v2测试集上，EPDMS达到85.5 [4][33] - **模型效率**：仅使用2180万参数的ResNet-34主干网络，性能优于基于9690万参数V2-99主干网络的对比方法（如GoalFlow和Hydra-MDP） [33] - **多样性与质量权衡**： - 原始扩散方法（如TransfuserTD）多样性得分仅0.1，质量稳定但缺乏多样性 [37] - DiffusionDrive多样性得分高达42.3，但质量无法保证（PDMS@10为75.3） [37] - DiffusionDriveV2多样性得分30.3，在多样性与质量间实现最优权衡，其PDMS@1为94.9（提高上限），PDMS@10为84.4（提高下限） [37][38] - **消融实验验证**： - 乘法探索噪声优于加法噪声，PDMS从89.7提升至90.1 [40] - 使用锚点内GRPO使PDMS从89.2提升至90.1 [41] - 使用锚点间截断GRPO使PDMS从89.5提升至90.1 [42] 研究意义与贡献 - 据研究者所知，DiffusionDriveV2是首个直接面对并解决截断扩散模型在轨迹生成中“多样性与持续高质量”两难困境的工作 [12] - 是首个成功将GRPO方法迁移到基于锚点的截断扩散模型的工作 [12] - 该方法证明了强化学习的“探索-约束”范式能有效提高模型性能下限与上限，为端到端自动驾驶规划提供了新思路 [8][38]

行业技术发展趋势 - 2023年是端到端自动驾驶量产的元年，2024年将是其量产的大年，目前头部新势力和主机厂均已实现端到端量产 [1] - 工业界存在两种主要技术范式：一段式（如UniAD，从传感器输入直接建模自车轨迹）和二段式（基于感知结果进一步输出自车及他车轨迹） [1] - 自2023年以来，一段式端到端技术发展迅速，衍生出基于感知、世界模型、扩散模型及视觉语言模型（VLA）等多种方法 [3] - 主流自动驾驶企业，包括智驾方案供应商和车企，均在发力端到端自动驾驶的自研与量产 [3] - 基于视觉语言模型（VLA）的端到端方法被认为是目前该领域的皇冠，上限高且难度大，因此业内招聘需求也最为旺盛 [12] 课程核心内容与结构 - 课程旨在系统讲解端到端与VLA自动驾驶，内容涵盖BEV感知、视觉语言模型、扩散模型、强化学习等前沿技术栈 [5] - 第一章介绍端到端算法的发展历史、概念起源、从模块化到端到端的演进，以及一段式、二段式和VLA范式的优缺点与适用场景 [8] - 第二章重点讲解端到端涉及的背景知识，包括大语言模型、扩散模型、强化学习及BEV感知，这些被认为是未来两年求职面试的高频技术关键词 [8][9] - 第三章聚焦二段式端到端，解析其定义、出现原因，并讲解经典算法PLUTO、CVPR'25的CarPlanner及最新的Plan-R1等工作 [9] - 第四章作为课程精华，深入讲解一段式端到端的各个子领域：基于感知的UniAD、基于世界模型、基于扩散模型以及基于VLA的方法 [10] - 第五章设置RLHF微调大作业，进行实战演练，内容包括预训练与强化学习模块搭建，该技能可迁移至VLA相关算法 [11][13] 关键技术详解与实战案例 - 基于感知的一段式方法将讲解奠基之作UniAD、地平线VAD以及CVPR'24的PARA-Drive [12] - 基于世界模型的方法将讲解AAAI'25的Drive-OccWorld和复旦团队的OccLLaMA，世界模型技术方向热门，应用广泛，包括场景生成、端到端驾驶和闭环仿真 [12] - 基于扩散模型的方法将讲解业内应用广泛的DiffusionDrive、Diffusion Planner和吉大的DiffE2E，并配有Diffusion Planner实战，扩散模型用于多模轨迹预测以更好适应环境不确定性 [12] - 基于VLA的方法将讲解小米的ORION、慕尼黑工大的OpenDriveVLA以及最新的ReCogDrive，并以小米ORION（截至2025年7月已开源推理和评测模块）作为实战案例 [12] - 课程第二章将详细拆解多项基础技术：从Transformer扩展到视觉Transformer，讲解CLIP和LLaVA；详解BEV感知在3D检测、车道线、OCC、轨迹预测与规划中的应用；讲解扩散模型理论；以及VLM相关的强化学习技术如RLHF和GRPO [11] 课程目标与受众要求 - 该课程是首个面向端到端自动驾驶的进阶实战教程，旨在推动端到端技术在工业界的落地 [14] - 期望学员学完后能达到具备1年左右经验的端到端自动驾驶算法工程师水平 [16] - 学员需自备GPU，推荐算力在RTX 4090及以上；需具备一定的自动驾驶领域基础，熟悉基本模块；了解transformer大模型、强化学习、BEV感知等基本概念；具备概率论、线性代数基础及Python和PyTorch编程能力 [16] - 课程收获包括：掌握涵盖一段式、两段式、世界模型、扩散模型等的端到端技术框架；对BEV感知、多模态大模型、强化学习、扩散模型等关键技术有更深刻理解；可复现扩散模型、VLA等主流算法框架；能够将所学应用于实际项目设计 [16]

课程核心内容与定位 - 课程名称为《世界模型与自动驾驶小班课》，是首个面向端到端自动驾驶的进阶实战教程，旨在推动端到端技术在工业界的落地，并助力学员真正理解端到端自动驾驶 [2][10] - 课程由“自动驾驶之心”公众号联合工业界大佬推出，是继《端到端与VLA自动驾驶小班课》后进一步推出的课程，聚焦于通用世界模型、视频生成、OCC生成等世界模型算法 [2] - 课程讲师Jason拥有C9本科和QS50 PhD背景，发表多篇CCF-A/B论文，现任国内TOP主机厂算法专家，主持并完成多项自动驾驶感知和端到端算法的产品量产交付，具备丰富的研发和实战经验 [2] 课程大纲与章节详解 - **第一章：世界模型介绍** 复盘世界模型与端到端自动驾驶的联系，讲解其发展历史、当下应用案例，并介绍纯仿真、仿真+Planning、生成传感器输入、生成感知结果等不同流派，以及它们在业界的应用、解决的问题、所处环节、相关数据集和评测 [5] - **第二章：世界模型的背景知识** 讲解世界模型的基础知识，包括场景表征、Transformer、BEV感知等，为后续章节奠定基础，其内容是当下世界模型求职面试频率最高的技术关键词 [5][6] - **第三章：通用世界模型探讨** 聚焦通用世界模型和近期热门工作，涵盖李飞飞团队的Marble、DeepMind的Genie 3、Meta的JEPA、导航世界模型，以及业界广泛讨论的VLA+世界模型算法DriveVLA-W0和特斯拉ICCV上分享的世界模型模拟器 [6] - **第四章：基于视频生成的世界模型** 聚焦视频生成类世界模型算法，从Wayve的GAIA-1 & GAIA-2开始，扩展到上交CVR'25的UniScene、商汤的OpenDWM、中科大ICCV'25的InstaDrive，兼顾经典与前沿进展，并以商汤开源的OpenDWM进行实战 [7] - **第五章：基于OCC的世界模型** 聚焦OCC生成类世界模型算法，包含三大论文讲解和一个项目实战，此类方法不局限于OCC生成，可较易扩展为自车轨迹规划，从而进一步实现端到端 [8] - **第六章：世界模型岗位专题** 基于前五章算法基础，分享工业界应用经验，探讨行业痛点、期望解决的问题，以及如何准备相关岗位面试和公司真正关注的内容 [9] 课程技术深度与学后收获 - 课程将详细讲解Transformer、视觉Transformer、CLIP、LLAVA、BEV感知、占用网络(Occupancy Network)、扩散模型、闭环仿真、NeRF、3DGS、VAE、GAN及Next Token Prediction等关键技术概念 [11] - 课程涵盖OCC生成类世界模型的多个前沿工作，包括清华的OccWorld、复旦的OccLLaMA、华科ICCV'25的HERMES以及西交最新的II-World [12] - 学员学完本课程后，预期能够达到1年左右世界模型自动驾驶算法工程师水平，掌握世界模型技术进展（涵盖视频生成、OCC生成等方法），对BEV感知、多模态大模型、3DGS、扩散模型等关键技术有更深刻了解，并可复现II-World、OpenDWM等主流算法框架，能够将所学应用到项目设计中，对实习、校招、社招均有助益 [13] 课程安排与面向人群 - 课程开课时间为1月1号，预计两个半月结课，采用离线视频教学，辅以VIP群内答疑和三次线上答疑 [14] - 章节解锁时间安排如下：第一章于12月10日解锁，第二章于1月1日解锁，第三章于1月20日解锁，第四章于2月4日解锁，第五章于2月24日解锁，第六章于3月1日解锁 [14] - 面向人群需自备GPU（推荐算力在4090及以上），具备一定的自动驾驶领域基础，熟悉自动驾驶基本模块，了解transformer大模型、扩散模型、BEV感知等技术的基本概念，具备一定的概率论、线性代数基础以及Python和PyTorch语言基础 [13]

自动驾驶技术范式演进 - 行业技术范式快速迭代，从前年的BEV（鸟瞰图视角）到去年的“端到端”（End-to-End），再到2025年的技术焦点VLA（视觉-语言-行动）模型 [1][6] - 传统的端到端（VA）模型存在“黑箱”问题，系统能做出正确操作但缺乏可解释性，引发了信任危机 [1] - 视觉语言模型（VLM）能理解和解释场景，但存在“行动鸿沟”，其输出停留在语言层面，无法直接控制车辆 [3] - VLA模型是一场彻底的范式革命，旨在融合计算机视觉、自然语言处理和强化学习，打造一个既能感知、理解又能执行动作的“可解释的大脑” [6][45] “真”端到端架构辨析 - 一个“真”的端到端驾驶系统必须是一个统一的、完整的神经网络，接收原始传感器输入并直接输出可执行的控制信号，且具备“全程可求导”特性 [8][9] - VLM的引入从架构上“打断”了端到端的闭环，因为其输出是文本而非可执行的轨迹，导致学习信号无法从车辆动作反向传播到VLM，无法受益于自动化的数据闭环驱动 [11][12][13][15][16] - 行业早期的“快慢双核”系统（如理想汽车IM智驾系统）是“半”端到端的过渡形态，它将VLM（慢系统）与传统的VA模型（快系统）拼凑，存在异步冲突、架构臃肿和信息损失、优化困难等致命缺陷 [17][18][20][21][22][26] - VLA是“真”端到端，它回归了从传感输入到轨迹输出的统一神经网络形式，实现了“全程可求导”，驾驶错误信号可以无阻碍地反向传播至整个模型，从而支持高效的数据驱动迭代 [23][25][27] VLA解决的核心痛点 - VLA旨在解决“快慢双核”架构暴露的四大核心痛点：长尾场景挑战、语义鸿沟、空间精度不高、时序建模瓶颈 [31] - 自动驾驶的最大挑战是高度语义化、非标准化的“长尾场景”，如复杂的龙门架、可变车道、临时指示等，传统VA模型无法处理 [32][33][34][35][37] - VLM虽然能理解长尾场景，但其输出的文本与车辆控制器所需的精确数值向量之间存在“语义鸿沟”，导致“行动鸿沟” [36][38][39] - 强行让VLM输出轨迹会导致空间精度不高，其基于语言生成的轨迹点易产生偏差，无法满足高精度控制要求 [40] - VLM在处理时序任务时采用叠加多帧图像的方法，会受到Token长度限制（如8K上下文窗口仅能处理约16帧，约2秒历史）和巨大计算开销的制约，无法进行长时程规划 [41][42][43][44] VLA的通用技术栈 - VLA模型通常由三个核心技术组件构成：视觉编码器（V）、语言编码器（L）和动作解码器（A） [46] - 视觉编码器是VLA的“眼睛”，负责将原始图像转换为LLM能理解的视觉令牌，主流方案包括CLIP/SigLIP和DINOv2 [48] - CLIP/SigLIP提供强大的视觉-文本对齐能力，擅长识别和描述图像内容（“是什么”） [49][51][52] - DINOv2通过自监督学习提供强大的空间理解和高级视觉语义能力（“在哪里/怎么样”） [52] - 顶尖方案（如OpenVLA）采用SigLIP + DINOv2双编码器并联，融合两者特征后通过MLP投影器对齐到LLM的令牌嵌入空间，提供全面的视觉信息 [53][55][56] - 理想汽车MindVLA采用了另一条技术路线，其V模块基于3D高斯建模进行自监督3D编码器预训练，旨在生成高保真的3D场景表示 [57][59][60] - 语言编码器是VLA的“大脑”和决策中枢，负责融合视觉与文本令牌并进行跨模态推理 [62] - 主流选择包括LLaMA家族（如LLaMA-2、Vicuna）和Qwen系列（如Qwen-2.5） [63][64][66][70] - 其工作流程是接收来自V模块的视觉令牌和用户文本指令，通过自注意力计算进行高级推理（如场景分析、动作推理），最终输出高度浓缩的“动作令牌”或“规划令牌”作为意图指令 [67][69][71][72] - 部署优化策略包括LoRA（低秩适应）轻量化微调和MoE（混合专家）架构，理想汽车MindVLA则自研了名为MindGPT的LLM，专为3D驾驶场景和车端实时推理设计 [73][74][75][79] - 动作解码器是VLA的“手脚”，负责将“大脑”输出的意图令牌解码为真实、物理、可执行的控制信号 [76][77][80] - 基于扩散的Transformer是目前最受青睐的“黄金标准”方案，因其擅长建模复杂多模态动作分布，能生成细粒度、平滑、“拟人化”的轨迹 [81][82] - 其他主流方案包括自回归Transformer头、MLP预测器头和嵌入式MPC/规划头 [86] - Diffusion模型通过“迭代去噪”工作，为满足实时性要求，MindVLA等架构采用了ODE采样器等技术将去噪步骤压缩到2到3步内完成 [82] VLA的四个进化阶段 - VLA架构的演进经历了四个清晰的阶段，语言在系统中的角色从被动“解释器”逐步演变为主动“决策核心” [84][85] - 阶段一：语言模型作为“解释器”（Pre-VLA），如DriveGPT-4，其核心目标是增强系统可解释性，输出场景描述或高阶操纵标签，但存在“语义鸿沟”，对实际驾驶帮助有限 [88][89][90] - 阶段二：模块化VLA模型，语言演变为模块化架构中主动的规划组件，如OpenDriveVLA、DriveMoE、RAG-Driver，通过生成可解释的中间表示来指导动作执行，但存在多阶段处理带来的延迟和级联错误风险 [91][92][93][94][97] - 阶段三：统一的端到端VLA模型，在一个单一、可微分的网络中无缝整合感知、语言理解和动作生成，代表作包括EMMA、LMDrive、CarLLaVA和SimLingo，它们通过“行动构想”等技术在语言理解和轨迹输出间建立紧密耦合，反应灵敏但长时程规划和细粒度决策解释能力仍存局限 [95][96][98][99][100][101] - 阶段四：推理增强的VLA模型，这是最新前沿阶段，将VLM/LLM提升为系统的“决策核心”，赋予其“思考”能力，代表作如ORION、Impromptu VLA和AutoVLA，它们将“思维链”与“行动”进行端到端对齐，在输出动作前先进行解释、预测和长时程推理，预示了“可对话的自动驾驶汽车”的未来，但也带来了实时性、记忆索引和安全验证等新挑战 [102][103][104][106]

自动驾驶技术范式转变：从模块化到端到端 - 行业技术热点已从BEV感知迅速转向端到端自动驾驶方案 [4] - 端到端并非新技术，早期因效果不佳而让位于模块化架构，但随Transformer与BEV发展正强势回归 [9] - 主流方案正将规划模块神经网络化，形成一段式或两段式端到端架构 [9] 端到端架构下的感知范式革命 - 传统感知-规划框架中，感知需提供全量、精确的场景信息供规划使用，因模块化设计使其无法获知规划具体需求 [11] - 端到端最大意义在于实现“规划导向”的感知，即从全量感知转向可学习的按需感知 [14] - 当前多数端到端方案仍沿用传统思路，将人为定义的感知任务作为辅助监督，这被视为感知模块的“手工特征算子”，可能限制模型上限 [13][14] - 感知模块需自我革新，摒弃对人为定义感知任务的依赖，转向可学习的隐式场景理解 [14] 导航引导的稀疏场景表征 - 提出“导航引导感知”概念，模仿人类驾驶员根据导航意图关注场景不同部分，而非进行全量感知 [17] - 基于BEV特征设计场景令牌学习器模块，引入导航信息并预测BEV注意力，将场景压缩为16个场景查询 [18][19] - 规划解码器仅与这16个查询交互即可输出轨迹，实现了对感知信息的极致压缩与高效利用 [19] - 该方案使模型在训练效率和推理速度上成倍提升，并大幅超越现有方案性能 [19] 世界模型作为隐式监督新方向 - 为减少对人为定义感知任务的依赖，引入基于BEV特征的自监督世界模型，通过预测未来帧特征增强场景理解 [20] - 设计在稀疏查询上做轨迹规划，在稠密BEV上做世界模型的方案，兼顾推理效率与训练一致性 [20] - 随着世界模型研究成熟，其有望完全替代人为感知任务，成为隐式场景表征最可靠的监督方式 [21] SSR方案性能与影响 - SSR框架仅用16个自监督可学习的查询作为场景稀疏表征，替代了传统方案中成百上千个人为监督的查询 [22] - 在nuScenes数据集开环测试中，SSR的3秒平均L2误差为0.75米，平均碰撞率为0.15%，推理速度达19.6 FPS，多项指标超越对比方案 [24] - 在Carla仿真闭环测试中，SSR的驾驶得分达78.9，路线完成率达95.5%，综合得分0.83，表现优异 [26] - 消融实验表明，使用16个场景查询在性能与效率间取得最佳平衡 [27] - 可视化显示场景查询能根据不同导航指令自适应关注与驾驶意图相关的区域，证明了可学习感知模块的有效性 [28] - 该方案被视为端到端感知的“AlexNet时刻”，标志着可学习感知模块首次大幅超越人为定义感知模块，可能引导行业新方向 [29]

特斯拉FSD技术架构分析 - 特斯拉在ICCV分享的最新FSD技术架构仍属于大号端到端模型[3] - 行业前沿的VLA架构在机器人领域流行但特斯拉未采用引发技术路线讨论[3] 机器人与自动驾驶任务目标差异 - 机器人需理解通用语言指令完成任务目标而自动驾驶核心是导航任务[4] - 自动驾驶可直接获取高德或百度导航地图底层数据实现精确路径规划比语言表征更高效[4] 机器人与自动驾驶作业环境差异 - 自动驾驶在规则明确的道路上行驶场景相对单一复杂任务拆解需求少[4] - 驾驶操作多为本能反应无需语言分析仅在特殊场景调用VLM模型类似人类大小脑协作机制[4] 硬件限制对技术选择的影响 - 端侧硬件算力普遍低于1000 TOPS无法支持几B参数语言模型确保安全[5] - 视觉到语言再到动作的转换流程会浪费算力增加延迟百公里车速下0.1秒偏差即可导致车辆偏离车道[5] 特斯拉技术路径的优化策略 - 采用快慢思考逻辑端到端模型与VLM协同工作[5] - 绝大部分场景由端到端模型处理仅交规或非结构化道路等少数场景减速调用VLM[5]

文章核心观点 - 英伟达、CMU和斯坦福团队提出了一种名为基于模型的策略自适应（Model-based Policy Adaptation, MPA）的新型框架，旨在解决端到端（E2E）自动驾驶模型在闭环评估中面临的性能下降问题 [1][2] - MPA框架通过利用高保真3D高斯溅射（3DGS）仿真引擎生成反事实数据，并训练基于扩散模型的策略适配器和多步Q值模型，显著提升了预训练E2E驾驶智能体在部署阶段的鲁棒性、安全性和泛化能力 [2][7][11] - 在nuScenes基准数据集上的实验结果表明，MPA在域内场景、域外场景及安全关键场景中均显著优于多种基线模型，尤其在路线完成率和综合驾驶评分等关键指标上提升显著 [33][34][35] 技术背景与问题定义 - 端到端自动驾驶模型在开环评估中表现出色，但在闭环环境中会因微小偏差累积导致的级联误差和分布偏移而出现性能下降，核心挑战在于离线训练的经验风险最小化与在线部署的累积奖励最大化目标不一致 [3][6] - 现有闭环评估方法存在局限性，例如缺乏闭环评估结果、仅在非照片级真实感仿真器中进行评估，或训练成本高且未充分利用价值评判器，且尚无工作在训练阶段纳入经过筛选的反事实数据 [5] - 性能下降的根本原因被归结为观测不匹配（训练与部署阶段的传感器输入差异）和目标不匹配（离线模仿学习缺乏有意义的长期奖励反馈） [6][9] MPA方法框架 - MPA框架包含三个核心组成部分：基于世界模型的反事实数据生成、基于扩散模型的策略自适应以及Q值引导的推理时间采样 [14][16][24] - 反事实数据生成流程利用几何一致的3DGS仿真器，对预训练E2E策略的预测动作进行随机增强（旋转角度范围[-10, 10]度，扭曲比例范围[0.1, 1.0]，随机高斯噪声标准差0.05），并通过类似波束搜索的算法筛选出奖励最高的候选轨迹 [16][18] - 策略适配器采用基于潜扩散过程的1D U-Net结构，以预训练基础策略的输出为条件，预测残差轨迹进行优化，推理阶段使用DDIM采样器生成多模态（例如8个模态）的适配后轨迹 [21][22][39] - 多步动作价值模型（Q值模型）基于四个可解释原则（碰撞、距离、路线、速度）独立训练，综合Q值为各单原则Q值的加权和，用于在推理阶段选择期望效用最高的动作 [25][26] 实验结果与分析 - 实验在nuScenes数据集和HUGSIM仿真基准上进行，评估分为域内场景（70个）、域外场景（70个）和安全关键场景（10个）三类设置 [27][30] - 主要评估指标包括路线完成率（RC）、无碰撞率（NC）、可行驶区域合规率（DAC）、碰撞时间合规率（TTC）、舒适性（COM）和综合HUGSIM驾驶评分（HDScore） [29][31][32] - 在域内场景中，基于MPA的智能体（如MPA(UniAD)）的路线完成率（RC）达到93.6%，HDScore为66.4，显著优于其预训练基础版本UniAD（RC 39.4%，HDScore 19.4）及其他基线模型 [33] - 在安全关键场景中，MPA(VAD)的路线完成率（RC）达到96.6%，HDScore高达74.7，远超预训练VAD的RC（25.4）和HDScore（16.0），证明了其在对抗性挑战下的有效性 [35][36] 消融研究与组件分析 - 消融实验表明，反事实数据生成的轨迹推演步数规模对性能有正面影响，更长的推演步数能为价值函数训练提供更丰富的未来步监督信号，帮助Q值模型更准确地评估长时域收益 [38] - 策略适配器的模态数量从1增加到8时，性能显著提升，超过8后提升趋于平缓，表明适当增加模态数量能有效覆盖更多反事实行为模式 [39] - 移除Q值模型的不同组件（如路径跟随Qc、车道距离Qd、避撞Qcol、速度合规Qspeed）会导致相关指标急剧下降，验证了各组件对保障闭环安全与性能的必要性 [40][42] 结论与未来方向 - MPA框架通过系统性的反事实数据生成、策略适配和价值引导，成功地将预训练开环E2E驾驶智能体适配为安全且具有泛化能力的闭环智能体 [41][43] - 当前工作的局限性包括对3DGS渲染质量的依赖、价值与策略模型的解耦设计以及实验场景覆盖范围有限（仅基于nuScenes数据集） [44] - 未来工作方向包括将MPA应用于更多多样化驾驶数据集、探索在线强化学习以实现价值模型与策略适配器的联合训练，以及将MPA部署到多模态基础模型中以增强对严重分布偏移场景的推理能力 [44][46]