课程核心定位与目标 - 课程为端到端与VLA自动驾驶进阶实战教程，旨在推动端到端技术在工业界落地，助力学员理解端到端自动驾驶 [8] - 课程联合工业界专家开设，内容涵盖学术界与工业界最前沿的技术栈，包括BEV感知、视觉语言模型、扩散模型、强化学习等 [1] - 课程目标是使学员学完后能达到约1年经验的端到端自动驾驶算法工程师水平，掌握技术框架并能够复现主流算法 [13] 课程内容架构 - 第一章：端到端算法介绍 概述端到端自动驾驶发展历史、概念起源、从模块化到端到端的演进，并分析一段式、二段式及VLA范式的优缺点与适用场景 [4] - 第二章：端到端的背景知识 作为课程重点，详细讲解VLA涉及的大语言模型、扩散模型及强化学习，以及一段式端到端涉及的BEV感知，为后续学习奠定基础 [4][9] - 第三章：二段式端到端 聚焦二段式端到端，解析其定义与出现原因，并讲解经典算法PLUTO、CVPR'25的CarPlanner及最新工作Plan-R1，对比其与一段式端到端的优缺点 [5] - 第四章：一段式端到端与VLA 作为课程精华部分，涵盖基于感知、世界模型、扩散模型及VLA的一段式端到端子领域，探讨各方法如何解决端到端终极目标 [6] - 第五章：课程大作业 - RLHF微调 提供RLHF微调实战，涉及预训练与强化学习模块搭建及实验，该技术可迁移至VLA相关算法，具有良好延展性 [7] 关键技术深度解析 - BEV感知 讲解其基础知识，以及如何基于BEV实现自动驾驶核心感知任务，如3D检测、车道线识别、OCC及轨迹预测与规划 [9] - 扩散模型 讲解其理论知识，并指出基于扩散模型输出多模轨迹是当前学术界与工业界热点，多家公司正尝试落地 [9] - 视觉大语言模型与强化学习 讲解VLM相关的强化学习技术，包括RLHF及其在VLM训练中的作用，以及上半年热门技术GRPO [9] - 一段式端到端细分领域 详细讲解基于感知的方法（如UniAD、地平线VAD、CVPR'24的PARA-Drive）、基于世界模型的方法（如AAAI'25的Drive-OccWorld、OccLLaMA）、基于扩散模型的方法（如DiffusionDrive、Diffusion Planner、DiffE2E）以及基于VLA的方法（如小米ORION、慕尼黑工大OpenDriveVLA、ReCogDrive） [10] 课程实战与前沿应用 - 课程包含配套实战，例如在扩散模型小节配套讲解Diffusion Planner实战，在VLA小节选择小米ORION作为实战，该开源项目截至2025年7月已开放推理与评测模块 [10] - 世界模型被强调为近两年非常热的技术方向，因其应用广泛，可用于场景生成、端到端驾驶及闭环仿真 [10] - VLA被视为目前端到端自动驾驶的皇冠，上限高且难度大，因此行业招聘需求旺盛，代表了新一代自动驾驶量产方案的预研方向 [10] 讲师资质与课程特色 - 讲师Jason拥有C9本科与QS50博士学历，已发表2篇CCF-A论文及若干CCF-B论文，现任国内TOP主机厂算法专家，从事端到端、大模型、世界模型等前沿算法的预研与量产，并主持完成多项自动驾驶感知与端到端算法的产品量产交付 [2] - 课程内容基本为工业界和学术界的Baseline，兼顾经典工作与最新前沿进展 [1] - 课程为小班课，随到随学，提供视频与答疑服务 [1] 学员收获与面向人群 - 学员将掌握端到端技术框架，涵盖一段式、两段式、世界模型、扩散模型等方法 [13] - 学员将对BEV感知、多模态大模型、强化学习、扩散模型等关键技术有更深刻了解，并可复现扩散模型、VLA等主流算法框架 [13] - 学员能够将所学应用到项目中，真正搞懂如何设计自己的端到端模型，并可在实习、校招、社招中受益 [13] - 课程面向具备一定自动驾驶领域基础、熟悉Transformer大模型、强化学习、BEV感知等基本概念，并具备概率论、线性代数及Python、PyTorch语言基础的学员，学习需自备GPU，推荐算力在4090及以上 [11] 行业趋势与技能需求 - 端到端自动驾驶是学术界与工业界的前沿方向，VLA范式是目前发展的焦点 [1][10] - 第二章所涉及的背景知识被总结为未来两年求职面试频率最高的技术关键词 [5] - 基于扩散模型输出多模轨迹能更好地适应自动驾驶不确定的环境，是当前热点 [10]