自动驾驶VLA行业趋势 - 端到端技术之后，学术界和工业界聚焦方向是VLA（Vision-Language-Action），其提供类人思考能力，通过思维链形式展现车辆决策过程，从而提升自动驾驶可靠性和安全性[1] - 自动驾驶VLA目前可分为模块化VLA、一体化VLA和推理增强VLA三个子领域[1] - 传统BEV感知、车道线、Occupancy等方向相对成熟，行业关注度逐渐下降，自动驾驶VLA成为各家企业急需攻克方案[4] - 主流自动驾驶企业，包括智驾方案供应商和车企，都在发力自动驾驶VLA自研[4] 课程核心内容 - 课程涵盖自动驾驶VLA三大子领域前沿算法细致讲解，配备两个实战及一个课程大作业[6] - 核心内容包括视觉感知、大语言模型、Action建模、大模型部署、数据集制作等[6] - 最前沿算法包括CoT（思维链）、MoE（混合专家模型）、RAG（检索增强生成）、强化学习等[6] - 第一章概述VLA算法概念及发展历史，介绍开源BenchMark和常见评测指标[12][13] - 第二章讲解VLA算法基础，包括Vision、Language、Action三个模块基础知识，以及大模型与自动驾驶VLA结合方式[14] - 第三章讲解VLM作为自动驾驶解释器的经典和最新算法，如DriveGPT4、TS-VLM、DynRsl-VLM、SENNA[15] - 第四章聚焦模块化和一体化VLA，讲解语言模型从被动场景描述演变为主动规划组件的过程，配套ReCogDrive实战代码[16] - 第五章聚焦推理增强VLA，讲解长思维链推理、记忆和交互技术，配套Impromptu VLA实战代码[17][19] - 第六章为大作业，基于ms-swift框架进行网络构建、自定义数据集和模型加载，开启训练任务并进行微调[20] 行业技术发展 - 模块化VLA强调多阶段pipeline（感知→语言→规划→控制），语言模型为规划决策提供信息[16] - 一体化VLA直接连接动作解码器，实现感知→控制端到端映射，通过单次前向传播将传感器输入映射为控制动作[16] - 推理增强VLA将VLM/LLM置于控制中心，新增推理模块（如Chain-of-Thought、记忆体、工具调用），同步输出控制信号和自然语言解释[17] - 课程涉及多家机构最新研究成果，包括华科&小米ICCV2025中稿的ORION、慕尼黑工大OpenDriveVLA、上海交通大学DriveMoE、博世和清华AIR的DiffVLA、UC Berkeley和Waymo的S4-Driver等[17][18][23]