VLA技术演进 - VLA成为自动驾驶主流关键词 新势力企业下半年集中抢占VLA技术高地[1] - 传统模块化架构存在错误累积效应和信息损失问题 依赖人工规则难以应对复杂交通场景[4] - 纯视觉端到端方案存在黑箱问题和因果混淆缺陷 泛化能力受限于训练数据覆盖范围[4][5] - VLA范式通过语言中间表征连接感知与行动 赋予模型推理解释和交互能力[5] - VLA模型利用LLM预训练的世界知识理解交通场景 实现更符合逻辑的决策[5] 学术研究课程 - 课程提供12周在线小组科研加2周论文指导和10周论文维护期[7][14] - 覆盖语言模型解释器 模块化VLA模型 统一端到端VLA模型 推理增强VLA模型四大研究方向[7] - 学员将获得经典论文与前沿论文分析能力 掌握创新点baseline和数据集使用方法[12] - 课程提供baseline代码和可用数据集 包括nuScenes Waymo Argoverse等自动驾驶数据集[23] - 配备2+1多师制教学团队 包括主导师副导师和科研论文班主任[23] 技术资源支持 - 提供基于模仿学习的端到端自动驾驶开源代码库包括VAD和UniAD项目[24] - 提供基于扩散模型的端到端自动驾驶项目DiffusionDrive和OccNet[24] - 开放VLA端到端自动驾驶项目OpenDriveVLA SimLingo和Senna[24] - 课程必读论文包括Senna SimLingo OpenDriveVLA和ORION等最新研究成果[25] - 硬件要求最低配置为4张4090显卡 推荐配置为8张4090显卡或更高性能设备[20] 课程体系设计 - 14周课程包含传统端到端自动驾驶介绍 VLA架构详解和模块化模型研究[26][27] - 每周安排1-1.5小时课程 包含课题概览 选题讨论 算法详解和论文写作方法论[26] - 学员需具备深度学习基础 熟悉Python和PyTorch 最好掌握Linux开发环境[16][20] - 课程要求每周课前阅读资料并完成作业 课后自学时间至少1-2小时[20] - 最终产出包括论文初稿 项目结业证书和优秀学员推荐信[23]

端到端自动驾驶技术发展 - 端到端自动驾驶分为一段式端到端和二段式端到端两大技术方向，自UniAD获得CVPR Best Paper后引发国内智驾军备竞赛 [2] - 2024年理想汽车宣布E2E+VLM双系统架构量产，技术通过传感器数据直接输出规划或控制信息，避免模块化方法误差累积 [2] - BEV感知打破模块化壁垒，UniAD统一感知和规划任务，推动端到端技术进入新阶段 [2] - 当前技术需掌握多模态大模型、BEV感知、强化学习、视觉Transformer、扩散模型等跨领域知识 [3] 技术课程核心内容 - 课程涵盖二段式端到端（PLUTO）、一段式端到端（UniAD）、基于世界模型（OccWorld）、基于扩散模型（DiffusionDrive）及VLA方向 [7] - 第一章解析端到端发展历史及模块化到端到端的演变，对比一段式、二段式、VLA范式优缺点 [9] - 第二章重点讲解背景知识，包括VLA涉及的大语言模型、扩散模型、强化学习及BEV感知 [9][12] - 第三章聚焦二段式端到端，分析PLUTO、CarPlanner、Plan-R1等经典与前沿工作 [10] - 第四章深入一段式端到端与VLA，覆盖UniAD、OccWorld、DiffusionDrive及ORION等实战案例 [11] 课程特色与目标 - 采用Just-in-Time Learning理念，帮助学员快速掌握核心技术栈并构建领域框架 [4][5] - 结合实战环节完成理论到实践闭环，包括RLHF微调及VLA算法复现 [6][13] - 学员需具备自动驾驶基础、Transformer/BEV感知等知识，课程目标为达到1年算法工程师水平 [18] - 课程进度安排为3个月，分章节解锁内容并配备VIP群答疑 [18] 行业趋势与就业需求 - 端到端自动驾驶成为智能驾驶代表方向，学术界与工业界加速布局VLA等前沿技术 [2][11] - VLA技术因上限高、难度大成为招聘热点，涉及VLM、BEV、扩散模型等多技术融合 [11] - 扩散模型在多模轨迹预测中应用广泛，DiffusionDrive等作品推动工业界落地尝试 [11][12]

端到端自动驾驶技术发展 - 端到端自动驾驶分为一段式端到端和二段式端到端两大技术方向，通过传感器数据直接输出规划或控制信息，避免模块化方法的误差累积 [1] - BEV感知打通模块化壁垒，UniAD统一感知和规划任务，标志着端到端时代的来临 [1] - 2024年理想汽车宣布E2E+VLM双系统架构量产，显示工业界对端到端技术的重视 [1] - 技术方向多样化：PLUTO（二段式）、UniAD（感知一段式）、OccWorld（世界模型一段式）、DiffusionDrive（扩散模型一段式）等算法涌现 [4] 技术挑战与学习痛点 - 端到端技术涉及多模态大模型、BEV感知、强化学习、视觉Transformer、扩散模型等多领域知识，学习路径复杂 [3] - 论文数量繁多且知识碎片化，缺乏高质量文档和系统实战指导，入门难度高 [3] - 目标驱动导航需闭环任务支持，但理论与实践衔接困难 [3] 课程核心内容与特点 - 课程覆盖端到端算法发展历史、技术范式（一段式、二段式、VLA）及工业界应用 [8][10] - 重点讲解背景知识：Transformer、BEV感知、扩散模型、VLM强化学习技术（RLHF、GRPO） [8] - 二段式端到端聚焦PLUTO、CarPlanner、Plan-R1等经典与前沿工作 [9] - 一段式端到端涵盖UniAD、OccWorld、DiffusionDrive、VLA等子领域，配套Diffusion Planner和ORION实战 [10][12][13] - 大作业为RLHF微调实战，可迁移至VLA算法 [14] 课程结构与安排 - 分五章展开：端到端概述、背景知识、二段式、一段式与VLA、RLHF大作业 [8][9][10][14] - 8月15日开课，三个月结课，离线视频+VIP群答疑+三次线上答疑 [20] - 章节解锁时间：第一章（8.01）、第二章（8.15）、第三章（8.30）、第四章（9.15）、第五章（10.30） [20] 目标人群与学习收获 - 需具备GPU（推荐4090+）、自动驾驶基础、Transformer/BEV/强化学习概念、Python/PyTorch能力 [22] - 学完可达1年经验算法工程师水平，掌握端到端框架及BEV、扩散模型、VLA等关键技术 [23] - 可复现主流算法，应用于实习、校招、社招场景 [23]