核心观点 - 上海科技大学与香港中文大学联合提出的ReAL-AD框架通过模拟人类"策略-战术-操作"三层级联推理机制，显著提升端到端自动驾驶的决策能力 [3] - 该框架引入视觉-语言模型(VLM)作为"副驾驶"，将环境感知转化为结构化推理指令，实现从语义策略到可执行轨迹的分层解码 [3][5] - 在nuScenes和Bench2Drive数据集测试中，ReAL-AD的L2误差和碰撞率比基线模型降低超30%，驾驶评分提升11% [36][37][39] 技术架构 策略推理注入器 - 采用VLM生成驾驶策略文本（如"看到足球→可能有小孩→需减速避让"），通过预训练语言编码器映射至语义空间 [7][11] - 设计轻量级adaptor模块弥合语义空间与视觉特征的差距，使用余弦相似度损失确保策略语义与规划动态一致 [12] 战术推理整合器 - 将抽象策略转化为结构化指令，包括方向、紧急、车道、速度四类可执行命令 [15][17] - 通过正则表达式解析VLM输出，并采用类别特定编码器生成反应层（方向/紧急）与监管层（车道/速度）指令 [16][19] 分层轨迹解码器 - 第一层解码器基于反应级指令生成粗略运动模式（潜码z^ε），第二层融合监管级指令输出精细轨迹 [22][25] - 采用双潜变量流处理时间维度，粗粒度流预测宏观运动模式，细粒度流生成精确航点序列 [27] 性能表现 开环评估 - 在nuScenes数据集实现0.48米平均L2误差（行业基线0.72米）和0.15%碰撞率（基线0.22%） [36][38] - Bench2Drive数据集上达到0.84米L2误差，较VAD基线提升10.6% [39] 闭环评估 - 驾驶评分提升至41.17（基线39.42），成功率提高1.36个百分点 [39] - 使用Qwen-VL模型时保持0.87米L2误差，验证框架兼容性 [39] 技术创新 - 首创策略-战术双阶段指令生成机制，使VLM输出可直接指导轨迹规划 [14][19] - 分层变分解码器实现人类式"先直觉反应后精细调整"的决策过程，较传统MLP解码器降低7%轨迹误差 [25][41] - 复合损失函数整合策略语义对齐、轨迹编码监督和分层KL散度约束，优化端到端训练效果 [29][31][33]

端到端自动驾驶行业现状 - 端到端自动驾驶已成为国内主流新能源主机厂技术竞争的核心领域 自去年E2E+VLM双系统架构成功以来 行业加速迭代 今年上半年VLA概念进一步推动量产方案升级 [2] - 行业人才需求旺盛 3-5年经验的VLM/VLA岗位年薪达百万 月薪高达80K 校招/社招转岗需求激增 [2] - 技术流派分化明显 包括以PLUTO为代表的二段式端到端 以UniAD为代表的一段式端到端 以及基于世界模型/扩散模型/VLA的新兴流派 [4] 技术流派分类与特点 - **二段式端到端**：通过模型实现自车规划 代表工作包括港科技PLUTO 浙大CarPlanner(CVPR'25) 中科院Plan-R1 相比一段式具有明确规划模块优势 [4][20] - **一段式端到端**： - 基于感知的方法：UniAD持续迭代 地平线VAD和CVPR'24的PARA-Drive推动性能提升 [21] - 基于世界模型的方法：AAAI'25的Drive-OccWorld和复旦OccLLaMA拓展场景生成与闭环仿真应用 [21] - 基于扩散模型的方法：DiffusionDrive/Diffusion Planner/吉大DiffE2E实现多模轨迹预测 适应环境不确定性 [21] - 基于VLA的方法：小米ORION 慕尼黑工大OpenDriveVLA 最新ReCogDrive代表大模型时代技术前沿 [21] 核心技术栈与学习路径 - 必备技术包括大语言模型 BEV感知 扩散模型理论 强化学习与RLHF DEEPSEEK优化技术等 构成未来两年求职高频考点 [6][22] - 学习难点在于多领域知识融合(多模态大模型/BEV/强化学习/视觉Transformer/扩散模型) 论文碎片化 缺乏实战闭环指导 [12][13] - 行业推出《端到端与VLA自动驾驶小班课》 采用Just-in-Time Learning理念 覆盖技术框架构建(第二章) 二段式(第三章) 一段式与VLA(第四章) 及RLHF微调实战(第五章) [14][15][16][21][23] 职业发展前景 - VLA/VLM大模型算法专家岗位3-5年经验硕士薪资达40-70K·15薪 博士应届生可达90-120K·16薪 实习生日薪220-400元 [11] - 职业路径包括算法岗技能深化 或转型自动驾驶大模型工程师 需掌握VLM/VLA多模态 模型量化部署等核心技术 [9][10] - 课程目标使学员达到1年经验算法工程师水平 可复现扩散模型/VLA框架 应用于实习/校招/社招场景 [28] 课程体系设计 - 第一章梳理端到端发展历史 对比模块化/一段式/二段式/VLA范式优缺点 分析学术与工业界动态 [19] - 第二章重点突破背景知识 包括Transformer扩展至视觉Transformer CLIP/LLAVA多模态基础 BEV感知实现3D检测/车道线/OCC等核心功能 [22] - 实战环节配置Diffusion Planner和小米ORION开源项目 结合RLHF微调大作业强化工程能力 [21][23] - 课程周期3个月 8月15日开课 分阶段解锁章节 需自备4090及以上GPU算力 要求具备Transformer/BEV/强化学习基础概念 [28]

理想i8与VLA技术发布 - 理想i8在品牌十周年之际上市，重点升级辅助驾驶功能并首发VLA（视觉-语言-动作模型）司机大模型[2] - VLA将于8月在i8上交付，其能力提升体现在多模态输入、思维链推理和人类驾驶直觉三大方向[3][4] - VLA具备四大核心能力：空间理解（视觉）、思维能力与沟通记忆（语言模型+RAG）、行为能力，可执行自然语言指令如"靠边停""找星巴克"，并实现动态路径规划与障碍规避[5][7] 端到端自动驾驶技术演进 - 技术路径从E2E+VLM递进至VLA，成为行业新里程碑，吸引传统规控/感知领域人才转型[7] - 当前技术需融合多模态大模型、BEV感知、强化学习、视觉Transformer、扩散模型等跨领域知识[16] - 主流范式包括：基于感知的UniAD/VAD、基于世界模型的Drive-OccWorld/OccLLaMA、基于扩散模型的DiffusionDrive/DiffE2E，以及最前沿的VLA方案如ORION/OpenDriveVLA[25] VLA人才市场需求 - 行业对VLA/VLM专家需求旺盛，算法专家岗位年薪达40-70万（15薪），博士顶尖人才可达90-120万（16薪）[13] - 技术岗位覆盖模型量化部署、多模态算法等方向，实习生日薪220-400元，反映人才争夺激烈[13] 端到端自动驾驶课程体系 - 课程设计直击学习痛点：通过Just-in-Time Learning理念快速入门，构建领域框架，结合RLHF微调等实战环节[17][18][19] - 知识体系覆盖：端到端发展史（模块化到VLA范式）、BEV感知/扩散模型/VLM等关键技术、二段式PLUTO/CarPlanner等经典算法[23][24][26] - 教学安排：8月15日开课，分5章三个月完成，配套VIP答疑与代码实战，目标培养具备1年经验的端到端算法工程师[27][32][33]

端到端自动驾驶行业现状 - 端到端自动驾驶已成为国内主流新能源主机厂抢占的技术高地，E2E+VLM双系统架构去年取得成功后，VLA概念在2024年上半年掀起新一轮量产方案迭代[2] - 行业对端到端技术人才需求旺盛，3-5年经验的VLM/VLA岗位年薪高达百万，月薪达70K[2] - 学术界和工业界聚焦端到端技术，但存在技术流派分化问题，包括UniAD、PLUTO、OccWorld、DiffusionDrive等多种算法方案[2][7] 端到端技术发展特点 - 技术演进快速，2023年的工业级端到端算法方案已不适应2024年环境，需掌握多模态大模型、BEV感知、强化学习等跨领域知识[3] - 技术栈呈现多元化发展，包括基于感知的一段式（UniAD）、基于世界模型的一段式（OccWorld）、基于扩散模型的一段式（DiffusionDrive）以及VLA方向[7][11] - 学习门槛较高，存在论文数量繁多（年新增数百篇）、知识碎片化、缺乏高质量文档等挑战[3] 端到端课程核心内容 - 课程覆盖五大技术模块：端到端算法介绍、背景知识、二段式端到端、一段式端到端与VLA、RLHF微调实战[9][10][11][13] - 重点技术包括：PLUTO二段式架构（CVPR'25 CarPlanner）、UniAD感知方案（CVPR'24 PARA-Drive）、世界模型（AAAI'25 Drive-OccWorld）、扩散模型（DiffE2E）、VLA（小米ORION）[7][10][11] - 实战环节包含Diffusion Planner代码复现和ORION开源模块应用，目标实现工业级算法落地[11][13] 行业技术趋势 - VLA成为端到端自动驾驶的"皇冠技术"，小米ORION、慕尼黑工大OpenDriveVLA等方案显示大模型与自动驾驶的深度结合[11] - 扩散模型在轨迹预测领域取得突破，DiffusionDrive等方案实现多模轨迹输出，适应自动驾驶不确定性环境[7][11] - 世界模型技术应用扩展，Drive-OccWorld等方案同时支持场景生成、端到端控制和闭环仿真[11] 人才能力要求 - 需构建跨领域知识体系，包括视觉Transformer（CLIP/LLaVA）、BEV感知（3D检测/车道线/OCC）、扩散模型理论、VLM强化学习（RLHF/GRPO）[12] - 工程能力要求涵盖PyTorch框架、GPU计算（推荐RTX4090）、数学基础（概率论/线性代数）及算法复现能力[20] - 职业发展目标为1年经验端到端算法工程师水平，具备技术框架设计能力和项目落地经验[20]

端到端自动驾驶算法研究背景 - 传统自动驾驶算法采用模块化流程：感知→预测→规划，每个模块输入输出不同，存在误差累积问题且感知信息存在损失[3][5] - 端到端算法直接输入原始传感器数据并输出路径点，避免了模块间误差传递，但面临可解释性差和优化困难等挑战[3][7] - 传统算法优势在于调试便捷和可解释性，而端到端方法在信息完整性方面表现更优[3] 端到端算法技术范式与挑战 - 当前主流采用模仿学习框架，包括行为克隆和逆优化控制两种方法，但难以处理corner case且真值数据存在噪声[7][8] - 评估方法分为开环（固定场景）和闭环（动态交互）两种，因果混淆现象是典型挑战[8] - 技术难点还包括输入模态多样性、多任务学习、知识蒸馏及安全保证等问题[8] ST-P3算法实现细节 - 采用时空学习框架，明确设计感知/预测/规划三模块，创新点包括自车中心累积对齐和双路预测机制[10][11] - 感知模块通过LSS范式生成BEV空间表征，考虑RO/PG角不为零的情况并进行时序融合[13] - 规划阶段引入红绿灯编码优化轨迹，代价函数综合距离/加速度/终点偏差等指标[14][15][16] UniAD系统架构 - 全Transformer框架以规划为导向，包含MapFormer/MotionFormer/OccFormer/Planner等模块[23] - 创新性引入五个代理任务提升性能，通过TrackFormer实现动态Agent跟踪[25][26] - 规划模块整合转向灯信号和自车特征，基于碰撞优化输出最终轨迹[31] 矢量化方法VAD - 将栅格表征转为矢量形式保持几何特性，计算速度优势明显[32] - 通过Map Query/Agent Query分别预测地图矢量和运动矢量，与自车状态交互完成规划[33] - 引入三类约束条件：碰撞约束/边界距离约束/方向约束，通过成本抑制机制优化[38][39][40] 概率化表征方法 - 采用概率分布替代确定性轨迹，解决多模态场景下的折中轨迹问题[42] - 离散化动作空间为4096种规划token，通过场景交互选择最优概率轨迹[43] - GenAD工作采用VAE式生成建模，训练时学习轨迹分布，推理时采样生成[44][46] 多模态规划进展 - 英伟达研究结合多模态规划与多模型学习，增加基于规则的教师模型蒸馏损失[49][52] - 监督信号涵盖无责任碰撞/可行驶区域合规/驾驶舒适性等指标[52] - 当前技术仍受限于数据驱动特性，对异常案例处理能力有待提升[53]

核心观点 - GEMINUS是一种基于专家混合（MoE）的端到端自动驾驶框架，通过双感知路由器动态激活全局专家和场景自适应专家，在多样化场景下实现自适应与鲁棒性兼具的性能 [1] - 该框架在Bench2Drive闭环基准测试中超越现有方法，驾驶评分提升7.67%，成功率提升22.06%，MultiAbility-Mean提升19.41% [2][49] - 仅使用单目视觉输入即达到SOTA水平，驾驶评分提升9.17%，成功率提升25.77%，开环平均L2误差降低5.88% [37] 技术架构 框架设计 - 包含全局专家（整体数据集训练）、场景自适应专家组（场景子集训练）和双感知路由器（场景级特征+路由不确定性） [1] - 路由器采用硬分配机制，当不确定性低于阈值时选择场景专家，高于阈值时启用全局专家 [18] - 场景分类包括汇入、超车、紧急制动、让行和交通标志5类 [24] 关键组件 - 特征编码器采用ResNet34处理图像输入，测量编码器处理车辆状态信息 [20] - 轨迹规划器生成未来航路点序列，通过PID控制器输出控制信号 [17][20] - 损失函数整合轨迹模仿、特征对齐、价值对齐等多目标优化 [29][31][33] 性能表现 基准测试 - 驾驶评分65.39，成功率37.73%，MultiAbility-Mean 37.77%，均显著优于单专家基线 [41] - 超车场景准确率91.35%，交通标志场景90.45%，但让行场景仅2.87% [42][46] - 全局专家利用率6.29%，在模糊场景中发挥稳定作用 [47][48] 消融实验 - 纯MoE架构直接应用会导致性能下降，验证定制化设计的必要性 [40] - 场景感知路由使驾驶评分提升2.72%，成功率提升4.40% [40] - 不确定性路由+全局专家带来额外4.83%驾驶评分和22.06%成功率提升 [40] 行业应用 技术突破 - 首次将MoE架构成功应用于端到端自动驾驶，解决模态平均问题 [6][12] - 单目视觉性能超越多相机方案，降低硬件成本 [37][38] - 路由机制可解释性强，专家利用率反映场景特征明显程度 [47] 发展前景 - 可扩展至多相机输入提升场景感知能力 [50] - 探索Mixture-of-LoRA架构优化参数效率 [50] - 在长尾场景处理和安全冗余方面具备迭代潜力 [11][50]

自动驾驶技术发展现状 - BEV感知方案已完全成熟并广泛应用于量产车型 基于BEV的动态感知、静态感知、OCC感知均实现技术落地 [16][24] - 端到端方案仍处于验证阶段 实际效果未显著超越传统两阶段模型 存在数据收集难度大、训练成本高等实操问题 [11][31] - 行业面临的核心挑战是corner case处理能力 非结构化道路、复杂路口等场景通过率不足99% [16][24] 新兴技术路线争议 VLA/VLM技术 - **看好派**：认为VLA通过大模型推理能力实现场景理解 可突破传统规则引擎的迭代瓶颈 是下一代技术重点方向 [2][28] - **质疑派**：指出当前VLA基座多依赖开源模型魔改 缺乏专用预训练体系 且车端算力限制导致性能与延迟难以平衡 [1][27] - **中立派**：认为对话功能仅提供情绪价值 控车逻辑需独立设计 量产可行性存在但效果待验证 [3][18] 关键技术突破方向 - **世界模型**：三大应用场景包括预训练、仿真数据生成、端侧推理 目前数据生成领域已取得阶段性成果 [6][33] - **强化学习**：仿真精度是核心瓶颈 若能解决sim2real域差距 配合端到端架构将实现性能飞跃 [6][32] - **扩散模型**：适配多模态轨迹生成特性 地平线DiffusionDrive方案已实现实时性突破 [7][26] 行业竞争格局演变 - 数据闭环能力成为竞争焦点 头部公司重点构建AI驱动的数据流水线 涵盖采集、清洗、标注全流程自动化 [20][22] - 仿真技术呈现两极分化：L4企业侧重世界模型构建安全验证体系 L2+厂商聚焦VLA提升泛化能力 [18][30] - 芯片算力制约技术落地 7B参数以下模型成主流 量化加速与轻量化算法需求迫切 [27][28] 学术与产业协同 - 学术界研究滞后于产业落地 BEV从论文发表到量产应用耗时2年 当前VLA等技术尚未形成理论共识 [31][9] - 产学研割裂问题突出 工业界数据壁垒导致学术界缺乏真实场景验证数据集 [13][31] - 3D高斯等新型表征方法有望重构世界模型架构 球谐函数替换等基础研究具备潜力 [6][33] 技术路线选择建议 - 短期优先完善一站式端到端方案 长期需突破鲁棒性瓶颈以实现L4 [18][26] - 平价车型可采用BEV+蒸馏方案过渡 等待芯片成本下降支撑大模型部署 [24][26] - 自动驾驶与具身智能技术互通 建议选择迁移性强的研究方向 [34][22]

端到端自动驾驶技术发展 - 端到端自动驾驶已成为国内主流新能源主机厂抢占的技术高地 上半年VLA概念掀起新一轮量产方案迭代 [2] - 行业薪资水平显示：3-5年经验的VLM/VLA算法专家年薪达百万 月薪高达70K [2] - 技术流派分化明显：二段式端到端以PLUTO为代表 一段式分为感知型(UniAD)、世界模型型(OccWorld)、扩散模型型(DiffusionDrive)等四大方向 [4] 技术流派与前沿进展 - 二段式端到端聚焦模型自车规划 包含港科技PLUTO、浙大CarPlanner(CVPR'25)、中科院Plan-R1等代表性工作 [7][22] - 一段式端到端四大子领域： - 感知型：UniAD为奠基作 地平线VAD和CVPR'24的PARA-Drive为最新进展 [23] - 世界模型型：AAAI'25的Drive-OccWorld和复旦OccLLaMA实现场景生成/端到端/闭环仿真多应用 [23] - 扩散模型型：DiffusionDrive开创多模轨迹时代 吉大DiffE2E为最新成果 [23] - VLA型：小米ORION、慕尼黑工大OpenDriveVLA和ReCogDrive代表大模型时代技术方向 [23] 行业人才需求 - VLA/VLM算法专家岗位需求旺盛： - 3-5年经验硕士薪资40-70K·15薪 [10] - 多模态方向博士应届生可达90-120K·16薪 [10] - 模型量化部署工程师1-3年经验薪资40-60K·15薪 [10] - 技术能力要求涵盖大语言模型 BEV感知 扩散模型 强化学习与RLHF等跨领域知识 [7][15] 技术培训体系 - 课程体系覆盖五大模块： - 端到端发展历史与VLA范式演变 [21] - 核心技术栈包括Transformer/CLIP/LLAVA/BEV感知/扩散模型理论 [24] - 二段式与一段式技术对比及工业落地 [22][23] - RLHF微调实战与大模型强化学习应用 [25] - 教学采用Just-in-Time Learning理念 三个月完成从理论到实践的闭环训练 [16][17][18][30] 技术门槛与挑战 - 学习路径需同时掌握多模态大模型 BEV感知 视觉Transformer 扩散模型等六大技术领域 [15] - 论文数量繁多且知识碎片化 高质量文档稀缺导致入门难度高 [15] - 硬件要求需配备4090及以上算力GPU 需具备Transformer和PyTorch基础 [32]

自动驾驶技术演进 - 传统模块化架构存在错误累积效应和信息损失问题，依赖人工规则难以应对复杂场景 [2] - 纯视觉端到端模型简化架构但存在黑箱问题和泛化能力限制，如NVIDIA DAVE-2和Wayve的模仿学习方案 [2] - VLA范式通过语言桥梁结合视觉与行为，提升可解释性并注入LLM的世界知识，解决长尾场景处理难题 [2][3] VLA模型核心优势 - 实现自然语言决策解释（如减速原因分析），增强系统透明度 [2] - 利用LLM预训练的常识理解复杂场景（如施工区域需慢行） [3] - 支持自然语言交互（如"找充电站"指令），推动人性化驾驶体验 [3] 科研辅导课程设计 - 12周在线科研+2周论文指导+10周维护期，覆盖经典与前沿论文分析及代码实践 [6] - 提供baseline代码（如DiffusionDrive、OpenDriveVLA等）和公开数据集（nuScenes、Waymo） [15][17] - 采用"2+1"多师制团队，主导师为名校教授，副导师为博士/硕士，配备督学班主任 [14] 学员能力培养目标 - 掌握VLA算法理论与创新思路，完成论文初稿 [12] - 获得选题方法、实验设计及投稿建议，强化PyTorch和Python实战能力 [7][13] - 基础要求包括深度学习基础、自动驾驶算法了解及8张4090显卡硬件配置 [13] 关键学术资源 - 必读论文包括Senna、OpenDriveVLA等5篇顶会论文，聚焦VLA与自动驾驶结合 [18] - 课程产出含结业证书、推荐信及论文初稿，助力留学申请与职业发展 [14]

端到端自动驾驶技术概述 - 端到端自动驾驶分为一段式端到端和二段式端到端两大技术方向 是当前薪资最高的算法岗位之一 3-5年经验可冲击百万年薪 [2] - 核心优势在于直接从传感器输入到车辆规划/控制信息的直接建模 避免了传统模块化方法的误差累积 BEV感知技术实现了模块间的统一视角 [2] - UniAD模型统一了感知和规划任务 标志着端到端时代的来临 但并非最终解决方案 后续涌现出多种技术流派 [2][4] 主要技术流派 - **二段式端到端**：以PLUTO为代表 专注于用模型实现自车规划 [4] - **一段式端到端**： - 基于感知的方法：以UniAD为代表持续发展 [4] - 基于世界模型的方法：以OccWorld为代表开创新流派 [4] - 基于扩散模型的方法：以DiffusionDrive为代表实现多模轨迹预测 [4] - **VLA方向**：大模型时代下的端到端新方向 结合视觉语言模型技术 [4][22] 行业应用与人才需求 - VLA/VLM大模型算法专家岗位薪资达40-70K*15薪 博士应届生可达90-120K*16薪 [9] - 技术岗位覆盖感知算法、模型量化部署等多方向 实习岗位日薪220-400元 [9] - 主机厂已开展端到端算法预研和量产交付 形成完整技术落地闭环 [25] 技术发展挑战 - 需同时掌握多模态大模型、BEV感知、强化学习、扩散模型等跨领域知识 [14] - 论文数量繁多且知识碎片化 缺乏系统性学习框架和实战指导 [14] - 高质量文档稀缺 提高了技术入门门槛 [14] 课程体系设计 - **知识框架**：覆盖BEV感知、扩散模型理论、强化学习与RLHF等核心技术栈 [6][23] - **案例研究**： - 二段式端到端解析PLUTO、CarPlanner等经典算法 [21] - 一段式端到端深入UniAD、OccLLaMA等前沿工作 [22] - **实战环节**： - 扩散模型轨迹预测实战Diffusion Planner [22] - VLA方向实战小米ORION开源框架 [22] - 大作业RLHF微调实现技术迁移应用 [24] 技术发展趋势 - 世界模型应用扩展至场景生成、闭环仿真等多场景 成为近年研究热点 [22] - 扩散模型与VLM结合推动多模轨迹预测技术落地 [22] - VLA被视为端到端自动驾驶的"皇冠" 工业界招聘需求旺盛 [22]