端到端自动驾驶技术概述 - 端到端自动驾驶分为一段式端到端和二段式端到端两大技术方向 是当前薪资最高的算法岗位之一 3-5年经验可达百万年薪 [2] - 端到端系统实现从传感器输入到车辆规划/控制信息的直接建模 避免模块化方法间的误差累积 BEV感知打通模块化壁垒 UniAD统一感知和规划任务 [2] - 学术界和工业界聚焦端到端技术 衍生出多种算法流派 UniAD并非最终解 新算法不断涌现 [2] 端到端技术发展现状 - 技术方向包括多模态大模型 BEV感知 强化学习 视觉Transformer 扩散模型等 学习路径复杂 论文数量繁多 知识碎片化 [4] - 高质量文档缺乏 提高入门难度 学习目标驱动导航需结合实战 但缺乏系统指导 难以从理论过渡到实践 [4] - 最新技术流派包括：PLUTO为代表的二段式端到端 UniAD为代表的基于感知的一段式端到端 OccWorld为代表的基于世界模型的一段式端到端 DiffusionDrive为代表的基于扩散模型的一段式端到端 [9] 端到端课程体系 - 课程特点：直击痛点快速入门 构建领域框架提升研究能力 理论结合实践学以致用 [5][6][7] - 课程大纲：端到端算法介绍 背景知识 二段式端到端 一段式端到端与VLA 课程大作业 [11][12][13][15] - 重点章节：一段式端到端与VLA为课程精华 涵盖基于感知/世界模型/扩散模型/VLA的四大子领域 [13] 技术深度解析 - 二段式端到端：分析PLUTO CarPlanner Plan-R1等经典与前沿工作 对比一段式优缺点 [12] - 一段式端到端：UniAD和VAD为奠基作 PARA-Drive为最新进展 世界模型应用广泛 扩散模型实现多模轨迹预测 VLA为当前技术皇冠 [13] - 关键技术：Transformer CLIP LLAVA BEV感知 扩散模型 RLHF GRPO等构成完整技术栈 [14] 课程实施细节 - 开课时间8月15日 三个月完成 采用离线视频教学+VIP群答疑+三次线上答疑模式 [20] - 学员需自备4090及以上GPU 具备自动驾驶基础 熟悉Transformer 强化学习 BEV感知等技术概念 [22] - 预期成果：达到1年经验算法工程师水平 掌握端到端技术框架 可复现主流算法 应用于实际项目 [22]

点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 今天自动驾驶之心为大家分享 三星中国研究院&DS AI中心 最新的工作！ MoSE： 面向自动驾驶的 Skill-by-Skill 混合专家学习框架！难例场景新SOTA。 如果您有 相关工作需要分享，请在文末联系我们！ 自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一 步咨询 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 论文作者 | LU XU等 编辑 | 自动驾驶之心 写在前面 & 笔者的个人理解 近期研究表明，使用网络规模数据训练的大型语言模型（LLMs）和视觉语言模型（VLMs）能够增强端到端自 动驾驶系统的泛化能力和解释能力。具体而言，通过动态地将输入路由到参数的专业子集，专家混合（MoE）技 术使得通用的LLM或VLM在保持计算效率的同时实现了显著的性能提升。 然而，一般的MoE模型通常需要大量的训练数据和复杂的优化过程。在这项工作中，受人类驾驶员学习过程的启 发，我们提出了一种面向技能的MoE方法，称为MoSE，它模拟了人类驾驶员的学习和推理过程，逐技能、 ...

核心观点 - 强化学习（RL）相比监督微调（SFT）能显著提升大语言模型的泛化能力，尤其在跨领域任务迁移中表现更优 [5][6][14] - 数学推理能力的提升可正向迁移至其他理科领域，验证了RL训练对机器智能发展的关键作用 [7][15] - SFT训练会导致模型在非推理任务上出现负向迁移（TI_non达113.7），而RL模型保持稳定（TI_non仅36.9） [7][12] 训练方法对比 - **模仿学习（SFT）**：依赖高质量数据集直接复制解题过程，但导致模型输出冗长（3000+重复token）且破坏原有知识结构（158-390个无关token变化） [6][13][16] - **强化学习（RL）**：仅提供最终答案奖励，模型自主探索解题路径，保持表示空间稳定（仅14-15个任务相关token变化） [10][11][16] 实验设计 - 使用相同基础模型（Qwen3-14B-Base）和数学数据集（47K问题）对比RL与SFT效果 [11] - 可迁移指数量化显示：RL模型在数学/其他推理/非推理任务的TI分别为8.5/3.5/36.9，显著优于SFT模型（21.4/10.9/113.7） [8][12] - PCA分析证实RL模型的表示漂移距离最小，知识结构保留度最佳 [10] 案例表现 - 数学问题求解：RL模型直接建立方程（简洁），SFT模型产生大量冗余检查步骤 [13] - 非推理任务：RL模型高效完成辞职邮件，SFT模型陷入过度思考循环 [13] 行业意义 - 研究为Grok 4等新一代RL训练范式提供了理论支撑，证明探索式学习更接近人类智能发展路径 [1][14][15] - 数学能力作为基础学科的迁移效应，验证了跨领域知识转移对AI系统的重要性 [7][15]

自动驾驶算法模型研究进展 - MCAM模型在BDD-X数据集上驾驶行为描述任务BLEU-4提升至35.7%，推理任务BLEU-4提升至9.1%，显著优于DriveGPT4等基线模型[1] - TigAug技术使交通灯检测模型错误识别率降低39.8%，增强数据重新训练后mAP平均提升67.5%[12][17] - LeAD系统在CARLA仿真平台实现71.96驾驶分，路线完成率93.43%，超越现有基线模型[23][27] - DRO-EDL-MPC算法计算效率提升5倍，不确定场景下碰撞率接近于零[33][40] - 3DGS-LSR框架在KITTI数据集实现厘米级定位，城镇道路误差0.026m，林荫道误差0.029m[43][47] 自动驾驶数据集与框架创新 - NavigScene框架使nuScenes数据集平均L2轨迹误差降低至0.76m，比基线提升24%，碰撞率从32.48‱降至20.71‱[52][58] - LiMA框架在nuScenes数据集LiDAR语义分割mIoU达56.67%，3D目标检测mCE降至91.43%[61][68] - L4 Motion Forecasting数据集包含德美两国400+小时原始数据，覆盖250km独特道路[78][82] - 动态掩码与相对动作空间缩减策略使CARLA仿真训练效率提升2倍，车道偏离降低至0.07米[71][76] 技术突破与性能提升 - DSDAG因果图建模自车状态动态演化，为驾驶视频理解提供结构化理论基础[5] - TigAug单张图像合成耗时0.88秒，模型重训练平均耗时36小时[13] - LeAD系统通过LLM增强实现场景语义理解和类人逻辑推理[25] - DR-EDL-CVaR约束同时处理数据不确定性和模型不确定性[38] - 3DGS-LSR摆脱对GNSS依赖，仅用单目RGB图像实现厘米级重定位[46]

智能驾驶行业现状 - 2025年智能驾驶行业呈现分化态势，部分从业者转向具身智能领域，但多数仍坚守原赛道 [2] - 头部企业持续高薪招聘人才，应届生薪资可达45k*16薪，超越2-3年经验社招水平 [2] - 行业技术迭代周期明显缩短，2025年技术基调确定为VLA（视觉语言行动）架构 [7] 核心技术趋势 - 大模型赋能端到端2.0技术成为主流方向，涵盖视觉大语言模型基座、扩散模型轨迹预测等技术栈 [7] - 世界模型成为关键技术，涉及3DGS生成技术、闭环仿真等前沿领域 [7] - 视觉语言模型（VLM）在感知任务中应用广泛，包括预训练、迁移学习和知识蒸馏等方法 [19][20][21] 自动驾驶社区生态 - 自动驾驶之心知识星球已成为国内最大专业社区，拥有近4000名成员和100+行业专家 [11] - 社区构建完整技术闭环，涵盖课程体系（9大视频教程）、硬件开发（标定板、机械臂）和实战项目 [3] - 与近200家企业建立合作，包括小米汽车、地平线、英伟达等头部公司，提供内推渠道 [7][66] 行业应用场景 - 智能交通领域应用语言引导车辆检索、视觉问答等技术，提升系统交互能力 [30] - 自动驾驶感知模块融合视觉语言模型，实现开放词汇目标检测和语义分割 [31] - 决策控制系统结合大语言模型，开发可解释的轨迹预测和运动规划方案 [32][33] 数据集发展 - 视觉语言预训练数据集规模显著扩大，LAION5B包含50亿图文对，WebLI达120亿规模 [23] - 自动驾驶专用数据集持续丰富，NuScenes、Waymo Open Dataset支持多任务学习 [28] - 语言增强数据集兴起，如NuScenes-QA支持视觉问答任务，推动人车交互发展 [29] 人才发展体系 - 社区建立30+技术学习路线，覆盖BEV感知、Occupancy等40个方向 [11] - 求职板块包含100问系列（TensorRT部署、BEV感知等）和面经分享，直击企业需求 [66][68] - 直播体系每年规划100场，邀请CVPR/ICCV作者和车企专家分享量产经验 [15][16]

自动驾驶行业融资动态 - 某智驾公司因估值过高且量产项目稀少导致融资困难，估值接近头部企业但缺乏实际项目支撑 [3] - 该公司与头部车企达成特殊融资协议：车企投资智驾公司后，资金需全额返投至车企旗下经营困难的零部件子公司 [4] - 该操作实质为资金循环流转，旨在为车企子公司创造外部融资的公关宣传点，类似操作在该车企已有先例 [4] 行业竞争格局分化 - 头部智驾公司凭借算法优势与量产能力持续获得项目，年融资轮次可达1-2轮，形成良性发展循环 [5] - 技术实力薄弱的企业面临项目获取与融资双重困境，仅能获得有限市场份额 [5] - 2023年智驾市场竞争加剧，企业生存状态呈现"冰火两重天"两极分化 [5] 行业发展核心要素 - 实际量产交付能力被视为企业长期发展的关键，超越技术概念炒作的重要性 [5] - 算法性能提升与工程化落地能力是获得市场认可的基础要素 [5] - 部分企业为维系客户关系选择配合资本运作，但可能偏离技术深耕主线 [4][5] 技术发展趋势 - 行业聚焦端到端自动驾驶、世界模型等前沿技术方向 [7][9] - 感知技术领域形成BEV感知、Occupancy等30+技术路线矩阵 [7] - 大模型技术正渗透至感知、决策等多个技术环节 [7][9]

自动驾驶大模型技术发展 - 理想汽车是国内首个实现视觉语言大模型(VLM)上车的企业，在自动驾驶多模态大模型领域经验丰富[2] - 行业技术路线已明确向端到端+大模型方向发展，长安/小鹏等车企均已宣布大模型上车计划[4] - 自动驾驶大模型应用场景包括智能座舱、具身智能、数据挖掘和标注等领域，未来发展空间广阔[4] 大模型核心技术要点 - 通用大模型需横向对比开源SOTA模型，分析不同任务下的优劣势[4] - 微调技术涉及LoRA、Adapter、DPO等方法，是业务模型落地的关键[6][15] - 大模型存在幻觉问题，解决方案包括外挂知识库、微调和强化学习等技术[6] - 私有数据集构建和prompt模板设计是业务模型的核心竞争力[4] 自动驾驶大模型课程体系 - 课程涵盖多模态大模型基础概念、架构、训练范式和公开数据集[9] - 重点讲解模态编码器、Input/Output Projector、LLM Backbone等核心模块[11] - 覆盖图文理解、视频理解、任意模态等5种通用多模态大模型算法[11] - 包含DriveVLM等5个最具代表性的自动驾驶端到端大模型算法[17] - 提供行业就业指导，分析公司需求和技术瓶颈等实际问题[19] 行业人才需求 - 企业面试重点关注候选人对开源模型的对比分析能力[4] - 实际项目经验(如RAG系统)和私有数据集构建经历是重要考察点[4][6] - 需要掌握从算法设计到工程化落地的全流程能力[22] - 高校学生、技术人员和转行人员是该领域主要人才来源[26]

视觉大语言模型 - 文章汇总了视觉大语言模型（VLM）在自动驾驶和智能交通领域的最新研究资源和论文 [3][4] - 提供了多个开源项目链接，涵盖视觉语言模型的理论、应用和安全等方面 [3] - 列出了多个顶级会议（CVPR 2024、ICLR 2024等）的最新论文，涉及视觉语言模型的预训练、对齐和推理优化 [5][7] 迁移学习方法 - 总结了视觉语言模型在迁移学习中的最新进展，包括非自回归序列模型、公平性优化和高效微调方法 [7] - 提出了多种改进视觉语言模型迁移性能的技术，如动态视觉标记、上下文学习和检索增强对比学习 [7] - 涵盖了CVPR、ICLR、NeurIPS等会议的多篇论文，涉及模型架构优化和零样本泛化能力提升 [7] 知识蒸馏 - 讨论了视觉语言模型在检测、分割和多任务学习中的知识蒸馏技术 [8] - 未提供具体数据或论文细节，仅作为研究方向提及 [8] 世界模型 - 综述了自动驾驶中世界模型的研究，包括场景理解、未来预测和4D重建 [9][12] - 列出了多个创新模型，如HERMES、DriveDreamer4D和Vista，涵盖3D场景生成和可控视频预测 [9][12] - 提供了世界模型在自动驾驶中的全面调查和未来趋势分析 [12] 扩散模型 - 汇总了扩散模型在图像处理、视频生成和自动驾驶中的应用 [14][15] - 列出了多个开源资源和论文集合，涵盖图像恢复、3D视觉和推荐系统等领域 [14][15] - 提供了扩散模型在低层视觉、时间序列和多模态编辑中的最新研究进展 [15] 端到端自动驾驶 - 介绍了端到端自动驾驶的最新研究方向和论文资源 [16][19] - 提供了多个开源项目链接，涵盖感知、预测、规划和仿真等方向 [19] - 列出了CVPR、ICRA、NeurIPS等会议的相关研讨会和论文，涉及大规模基础模型和行为驱动驾驶 [19] 行业动态 - 提到自动驾驶行业有近4000人的交流社区，涵盖30+技术栈和300+公司与科研机构 [17] - 涉及感知、定位、规划控制等多个领域的技术方案和岗位发布 [17]

Agent技术发展现状 - Agent领域的低垂果实已被摘完 纯API调用的红利期结束于22年底至23年 需结合多模态和ML/DL技术提升竞争力[1][14] - 网易逆水寒等商业化案例已实现盈利 技术落后公司面临生存压力[1] Agent技术分类 博弈类/MARL衍生 - 主流方法为将MARL技术迁移至LLM Agent 实验环境集中于矩阵博弈和overcook等场景 学术价值高于实用价值[2] 游戏类应用 - 文本化环境构建成为重点 如civrealm和LLM play sc2项目 需解决游戏文本空间的精准映射问题[4] - 多模态技术渗透明显 安波团队的多模态Agent cradle带动技术潮流 黑神话悟空等商业项目开始应用[4] - 棋牌类游戏全面覆盖 但需突破传统RL已实现的人类超越瓶颈[5] 具身智能 - 机器人领域更看重真机实验 纯仿真研究认可度较低[5] 社会模拟类 - 斯坦福小镇等项目引爆关注 核心挑战包括：仿真器开发（Unity成为主流）、个性化决策保持、百万级Agent交互支持[6][8] - 可视化Demo成为项目评估关键要素[9] 商业化应用 - 客服问答和RAG技术最成熟 落地变现能力突出[9] - Tool use类工具（如HuggingGPT）成为企业生产力提升重点[9] - 自动化流水线应用分化 代码生成类依赖基础模型性能 AI for science类需跨学科知识整合[9] Minecraft专项 - 技术路线分化为纯RL（如OpenAI视频学习）、纯LLM（Voyager等技能库方案）、LLM+RL混合（顶会热门）[11][12] - 竞争白热化 需顶级团队资源支持才可能突破[13] 行业发展建议 - 高校研究需转向商业化场景合作 单打独斗模式已失效[14] - 技术路径选择应结合自身优势领域 避免同质化竞争[14] 技术社区动态 - 大模型之心Tech社区提供每日论文/技术报告更新 覆盖预训练、量化、RAG等12个技术板块[15] - 会员日均成本低于0.3元 主打快速技术路径打通[16]

行业招聘动态 - 2025年智能驾驶行业校招已开启 地平线、滴滴、元戎启行等公司释放大量岗位 涉及感知、规控、端到端、大模型等技术方向[1] - 岗位需求呈现融合趋势 自驾与具身智能结合的新兴岗位增加 如具身智能相关职位[1] - 技术面试集中在7月底至8月初 建议求职者提前准备简历和面试[1] 企业岗位分布 - 地平线2026届校招覆盖硬件开发、感知后处理、中间件软件、规划控制算法等方向 工作地点包括北京、上海、香港[2] - 滴滴国际化事业部招聘算法工程师 涉及定价策略、派单策略、补贴策略优化[3] - 自动驾驶领域重点招聘多模态端到端算法、定位算法、反作弊算法等岗位[4] 求职社区资源 - AutoRobo知识星球成员近1000人 涵盖地平线、理想汽车、华为、小米等公司从业者及求职者[6] - 社区提供面试题库、行业研报、谈薪技巧、内推资源等服务[6][10][16][20] - 独家汇总自动驾驶与具身智能领域面试一百问 包括毫米波融合、BEV感知、多传感器标定等专题[11][12][15] 行业研究资料 - 星球内分享具身智能、人形机器人等领域深度研报 如《中国具身智能创投报告》《人形机器人量产与硬件研报》[16] - 研究报告覆盖技术路线、市场机遇、上下游产业链分析[16] 面试经验参考 - 整理英伟达、小米汽车、华为等企业真实面经 包含算法岗、SLAM、行为预测等方向[18][22] - 收录决策规划控制、算法工程师等岗位从一面到三面的详细复盘[18] - 提供转行建议、面试官视角分析等宏观指导[23]