去年的端到端+VLM，标志着智能驾驶从规则驱动向数据驱动的根本转变。在实际中使用我们发现，端到端虽然提供了一个打通上下游视角的能力，但面对复杂的困难场 景仍然受限。所以今年业内的眼光投向了VLA！ 技术栈多？入门困难？ 前一段时间我们推出了《端到端与VLA自动驾驶小班课》，这门课侧重在端到端自动驾驶的技术栈梳理，同学们的反馈很好。 所以很多同学联系自动驾驶之心想学习更多 关于VLA的前沿知识！ VLA本质上也可以算作是一种端到端，不过更加直白和干净，很多方法也取消了传统端到端的复杂的3D感知任务。借鉴VLM更强大的通用泛化能力，除了任务更简洁， VLA更重要的还是提供了一种解决corner case的可能性。 而随着学术界和工业界的目光投向端到端这个技术领域，我们发现了很多问题。自动驾驶VLA的技术栈仍然没有收敛！一系列算法如雨后春笋般冒出： 因此我们联合国内外的教研团队共同打造了《自动驾驶VLA实战教程》，针对自动驾驶VLA的技术栈进行了全面的梳理。 学习自动驾驶VLA，是一个一站式强化多领域 知识的好机会。视觉感知、语言模块、动作模块，配套大模型的前沿技术（RAG/CoT/强化学习/MoE）等等，涉及的技 ...

从今年各个CV与AI顶会来看，VLA及其相关衍生方向，已经成为自动驾驶公司和高校实验室的主攻方向，占据了自驾前沿方向近一半的产出。特别是推理增强VLA、强 化学习、相关benchmark等等。 想象一下， 如果能通过语言下达指令（找到最近的星巴克），并且车辆能够丝滑的行车&泊车，是一件多么幸福的事情！ VLA打破了传统方法的单任务局限，使得自动驾驶车辆能够在多样化的场景中自主决策，灵活应对未见过的环境！VLA更加直白和干净，很多方法也取消了传统端到端的 复杂的3D感知任务。借鉴VLM更强大的通用泛化能力，除了任务更简洁，VLA更重要的还是提供了一种解决corner case的可能性。 而随着学术界和工业界的目光投向端到端这个技术领域，我们发现了很多问题。自动驾驶VLA的技术栈仍然没有收敛！一系列算法如雨后春笋般冒出： 技术栈多？入门困难？ 前一段时间我们推出了《端到端与VLA自动驾驶小班课》，这门课侧重在端到端自动驾驶的技术栈梳理，同学们的反馈很好。 所以很多同学联系自动驾驶之心想学习更多 关于VLA的前沿知识！ 因此自动驾驶之心联合清华大学的教研团队共同打造了《自动驾驶VLA实战教程》 ，针对自动驾驶VLA ...

❝ 自动驾驶VLA的思维链应该更灵活。 尽管思维链（Chain-of-Thought, CoT）等推理技术已广泛应用于视觉-语言-动作（Vision-Language-Action, VLA）模型，并在端到端自动驾驶中展现出良好性能，但现有 融合CoT推理的方法在简单场景中往往表现不佳——不仅未提升决策质量，还会引入不必要的计算开销。 为解决这一问题，清华&小米等团队提出 AdaThinkDrive ：一种受"快慢思考"理论启发、具备双模式推理机制的新型VLA框架。具体而言，该框架首先在大规模自动驾 驶（Autonomous Driving, AD）场景上进行预训练，通过问答和轨迹数据集获取世界知识与驾驶常识；在SFT阶段，引入包含"快速回答（无CoT）"和"慢速思考（有 CoT）"的双模式数据集，使模型能够区分需要推理的场景；此外，本文还提出"自适应思考奖励策略"，并结合GRPO通过比较不同推理模式下的轨迹质量，对模型选择 性应用CoT的行为进行奖励。在Navsim基准测试集上的大量实验表明，AdaThinkDrive的预测驾驶模型评分（Predictive Driver Model Score, PDMS ...

技术趋势转变 - 智能驾驶从规则驱动转向数据驱动 端到端和VLM技术标志着根本性转变 [1] - 端到端技术提供打通上下游视角的能力 但在复杂困难场景中仍受限 [1] - VLA技术取消传统端到端的复杂3D感知任务 借鉴VLM的通用泛化能力 提供解决corner case的可能性 [1] 技术发展现状 - 自动驾驶VLA技术栈尚未收敛 多种算法如雨后春笋般出现 [2] - 学习路径涉及视觉感知 语言模块 动作模块 配套大模型前沿技术包括RAG CoT 强化学习 MoE等技术栈 [2] - 领域面临论文数量繁多 知识碎片化 缺乏高质量文档等入门挑战 [2] 课程设计特点 - 基于Just-in-Time Learning理念 通过通俗语言和案例帮助快速掌握核心技术栈 [3] - 梳理自动驾驶VLA研究发展脉络 帮助形成个人研究体系和工作经验 [4] - 配备实战环节 完成从理论到实践的完整闭环 [5] 课程内容体系 - 涵盖VLA算法发展历史 开源BenchMark和评测指标 [14][15] - 包含Vision Language Action三大模块基础知识和开源大模型部署实践 [17] - 专题讲解VLM作为自动驾驶解释器的经典和最新算法包括DriveGPT4 TS-VLM DynRsl-VLM SENNA [19] - 深入解析模块化VLA的多阶段pipeline和一体化VLA的端到端映射技术 [21] - 配套ReCogDrive实战代码 包含预训练 模仿学习 强化学习GRPO 扩散模型轨迹输出等技术栈 [22] - 聚焦推理增强VLA子领域 讲解Chain-of-Thought 记忆体 工具调用等推理模块 [24] - 配套Impromptu VLA实战代码 基于Qwen2.5 VL进行数据集制作 训练和推理 [24] - 大作业基于ms-swift框架 自定义数据集和加载模型 提供V-L-A各部分代码解读 [26] 技术覆盖范围 - 涵盖OpenDriveVLA DriveMoE DiffVLA S4-Driver ORION FutureSightDrive AutoVLA Drive-R1等前沿算法 [29][30] - 涉及视觉感知 多模态大模型 强化学习等关键人工智能技术 [31] - 要求学员掌握transformer大模型 强化学习 BEV感知等基础概念 [31] 教学安排 - 课程周期两个半月 从10月20日开始分章节解锁 [32] - 教学方式包括离线视频教学 vip群答疑和三次线上答疑 [32]

行业技术趋势 - 自动驾驶行业正从模块化方法转向端到端系统 实现传感器输入到车辆规划的直接建模 减少误差累积[2] - BEV感知技术打破模块化壁垒 在统一视角下实现技术跃迁[2] - 端到端自动驾驶需融合多模态大模型、BEV感知、强化学习、视觉Transformer及扩散模型等多领域技术[5] 技术发展现状 - UniAD统一感知和规划任务 首次实现多模块单模型运行 标志端到端时代来临[2] - 端到端技术发展出多方向：二段式（如PLUTO）、基于感知的一段式（如UniAD）、基于世界模型（如OccWorld）、基于扩散模型（如DiffusionDrive）及VLA范式[9] - 扩散模型应用于多模轨迹预测 提升对不确定环境的适应性 代表工作包括DiffusionDrive、Diffusion Planner及DiffE2E[17] 技术挑战与需求 - 端到端技术学习面临多领域知识碎片化、论文数量繁多、缺乏高质量文档及系统实战指导等挑战[5] - 行业要求算法工程师具备多技能融合能力 需同时掌握算法规则、感知决策及端到端与VLA等新技术[2] - VLA作为端到端自动驾驶的皇冠技术 上限高且难度大 成为学术界和工业界研发重点 招聘需求旺盛[20] 技术应用与突破 - 世界模型技术应用广泛 涵盖场景生成、端到端及闭环仿真 代表工作包括Drive-OccWorld和OccLLaMA[15] - VLA技术融合VLM、BEV、扩散模型及强化学习 前沿工作包括小米ORION、OpenDriveVLA及ReCogDrive[20] - RLHF技术应用于VLA算法微调 具备良好延展性 支持预训练和强化学习模块搭建[21] 工业界实践 - 主机厂算法专家主导端到端、大模型及世界模型等前沿算法预研与量产 完成多项自动驾驶产品交付[22] - 行业资源向端到端与多模态大模型攻坚集中 但仍需规则算法兜底 反映技术过渡期特点[2] - 小米ORION截至2025年7月开源推理和评测模块 推动VLA技术透明化与行业应用[20]

大模型技术方向 - 大模型技术分为四大模块：大模型RAG、大模型AI Agent、多模态大模型（预训练、微调、强化学习）和大模型部署推理优化 [1] - 多模态大模型方向包括视觉语言模型、预训练数据集、PEFT、微调及部署推理优化 [2] 大模型RAG - RAG核心组件包括检索器、增强器和生成器 如何利用知识库提升性能是重点 [1] - RAG子领域快速发展：Graph RAG、视觉理解应用、Knowledge-Oriented RAG、多模态RAG、Reasoning Agentic RAG [1] - 业内已建立多种评测方法和数据集用于RAG性能评估 [1] AI Agent - AI Agent是当前最热门方向 涵盖单智能体、多智能体、智能体强化学习 [1] - 研究方向包括Agent通信效率优化、自进化Agent、RAG与Agent结合 [1] 技术社区 - 大模型之心Tech社区致力于构建国内最大大模型技术社区 持续输出产业学术信息 [3] - 社区通过知识星球平台培养人才 快速搭建技术模块 [3]

社区定位与愿景 - 打造国内首个自动驾驶全栈技术交流平台，连接产业界与学术界，形成学术、产业、求职的闭环生态 [13] - 愿景是推动AI与自动驾驶技术普及，让相关资源触达每位有需求的学习者 [1] - 社区定位为培养未来行业领袖的孵化器，强调内容质量与实用性，避免形式化运营 [3] 核心资源体系 - **技术路线**：梳理40+技术路线，覆盖感知、仿真、规划控制三大方向，包括BEV感知、3DGS、世界模型等前沿领域 [14][15] - **学习资料**：提供原创视频课程（如数据工程、VLA技术等9大系列）、60+数据集、40+开源项目及行业书籍 [4][25][27][23] - **专家网络**：聚集数十位来自头部企业（蔚小理、华为、英伟达等）和顶尖高校（清华、CMU、ETH等）的一线专家 [14] 行业服务功能 - **求职对接**：与多家自动驾驶公司建立内推机制，实时分享实习/校招/社招岗位信息 [4][11][17] - **技术研讨**：组织超100场专业直播，内容涵盖VLA、3DGS、扩散模型等热点，部分场次由顶会论文作者主讲 [74] - **问题解答**：成员可自由提问技术难题（如3D车道线真值生成、BEV精度优化等），获得产业界实战解决方案 [75][79] 前沿领域覆盖 - **关键技术**：深度聚焦VLA（视觉语言模型）、端到端自动驾驶、世界模型等2025年重点方向，提供数据集、算法及量产方案 [35][37][29][33] - **工具链**：整合标定工具、CUDA加速、模型部署等工程化内容，覆盖从研发到落地的全流程 [55][59][61] - **创新应用**：探索3DGS与闭环仿真结合、扩散模型在场景重建中的应用等交叉领域 [31][40] 成员生态 - **用户构成**：成员来自上海交大、CMU等高校实验室及蔚来、大疆等企业，形成产学研协同网络 [14] - **互动模式**：通过圆桌讨论、开源项目协作、日常技术问答（如激光雷达数据处理）促进深度交流 [2][77][79] - **成长路径**：为小白提供入门路线图，为进阶者设计产业级项目方案，实现技术能力阶梯式提升 [8][10]