导航信息量产应用
搜索文档
正式开课!7个Project搞懂端到端落地现状
自动驾驶之心· 2025-12-12 11:02
行业招聘需求与技术趋势变化 - 自动驾驶行业招聘需求正发生变化,两年前热门的感知岗位需求进一步收缩 [2] - 当前行业需求较高的技术方向集中在端到端、视觉语言动作模型和世界模型等领域 [2] - 头部玩家已验证端到端技术路径可行,其他车企正跟进投入人力和资源,从模型、场景、数据优化到下游规划兜底进行布局 [2] - 市场面临合格候选人供给不足的挑战,候选人往往只精通部分技术栈,而相关岗位要求广泛的技术能力 [2] - 具体的量产经验,如导航信息引入、强化学习调优、轨迹建模及优化,是实际落地中的关键痛点和门道 [2] 课程核心定位与内容设计 - 课程名称为《面向量产的端到端实战小班课》,核心重点是聚焦量产应用 [2] - 课程设计历时三个月,包含七个实战项目,从实战到落地层层展开 [2] - 课程核心算法覆盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型结合强化学习、自回归结合强化学习、时空联合规划等 [2] - 课程最终会分享实际的量产经验,目标面向就业与直接落地 [2] - 课程采用小班制,目前仅剩20个招生名额 [2][4] 端到端技术架构演进与核心模块 - 在端到端时代,感知任务的合并与规控算法的学习化已成为绝对主流 [7] - 如何更高效合并感知任务及设计规控的学习化模块是各大公司的核心必备技能 [7] - 两段式端到端框架涉及感知与规划控制的建模及信息传递方式,有其特定优缺点 [8] - 一段式端到端框架可实现信息的无损传递,因此在性能上通常优于两段式方案,具体方法包括基于视觉语言动作模型和基于扩散模型的方法等 [9] - 导航信息在自动驾驶中起引导、选路、选道的关键作用,其地图格式、内容及在端到端模型中的编码与嵌入方式是重要课题 [10] 算法训练策略与量产保障方案 - 仅依靠模仿学习存在局限,因人类驾驶风格迥异且部分极端场景数据难采集,需结合强化学习以学习因果关系并实现泛化 [11] - 课程项目实战涵盖基于模仿学习的算法,并重点介绍基于扩散模型和自回归的算法,在监督微调后会继续讲解强化学习实战 [12] - 在量产落地阶段,为确保轨迹稳定可靠,需有后处理的兜底逻辑,例如通过轨迹平滑优化算法对模型直出结果进行优化 [13] - 时空联合规划是重要的兜底方案,涉及多模态轨迹打分搜索及轨迹平滑等算法 [13] - 量产经验分享将从数据、模型、场景、规则等多个视角,剖析如何选用合适工具和策略以快速提升系统能力边界 [14] 课程安排与学员要求 - 课程面向进阶学员,开课时间为11月30日,预计三个月结课,采用离线视频教学配合VIP群答疑及三次线上答疑的形式 [15] - 课程章节按计划解锁,例如第一章于11月30日解锁,第二章于12月7日解锁,后续章节按周或月间隔陆续开放 [16][18] - 学员需自备图形处理器,推荐算力在4090及以上 [17] - 学员需具备的基础知识包括:熟悉自动驾驶鸟瞰图感知、视觉Transformer、端到端等常见算法;掌握强化学习、扩散模型理论基础;具备一定的Python和PyTorch语言基础;熟悉mmdet3d算法框架;以及一定的高等数学、线性代数和矩阵论基础 [17]
端到端岗位求职:核心算法&实战讲解(7个project)
自动驾驶之心· 2025-12-08 08:02
行业招聘与技能需求变化 - 自动驾驶行业招聘需求正发生变化,两年前热门的感知岗位需求进一步收缩 [2] - 当前行业需求较高的方向集中在端到端、VLA(视觉语言动作模型)、世界模型等领域 [2] - 头部玩家已验证端到端技术路径可行,其他车企正跟进投入模型、场景、数据优化及规划兜底等方面的人力和资源 [2] - 市场面临人才技能与岗位需求不匹配的挑战,相关岗位技术栈广泛,但候选人往往只精通部分领域 [2] - 具体的量产经验,如导航信息引入、强化学习调优、轨迹建模与优化等,是实际落地中的关键痛点 [2] 课程核心内容与结构 - 课程名称为《面向量产的端到端实战小班课》,核心重点是聚焦量产应用 [2] - 课程设计历时三个月,内容从实战到落地层层展开 [2] - 课程涵盖核心算法包括:一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 [2] - 课程最终会分享实际的量产经验 [2] - 课程采用小班教学模式,仅剩20个招生名额 [2][4] - 课程面向进阶学员,建议具备自动驾驶BEV感知、视觉Transformer、端到端算法、强化学习、扩散模型理论基础,以及Python、PyTorch、mmdet3d框架等技能基础 [16] - 课程为离线视频教学,辅以VIP群答疑和三次线上答疑,开课时间为11月30日,预计三个月结课 [15][17] 技术发展趋势与课程章节详解 - **端到端任务概述**:在端到端时代,感知任务合并与规控算法学习化已成为绝对主流,如何高效合并感知任务及设计学习化规控模块是行业核心技能 [7] - **两段式端到端算法**:章节介绍两段式框架的建模方式、感知与规划控制的信息传递,分析其优缺点,并通过PLUTO算法进行实战讲解 [8] - **一段式端到端算法**:一段式框架可实现信息无损传递,性能上优于两段式方案,章节将学习基于VLA、扩散模型等多种方案,并以VAD系列进行深入教学 [9] - **导航信息的量产应用**:导航信息在自动驾驶中起引导、选路、选道作用,章节介绍主流导航地图格式、内容及其在端到端模型中的编码与嵌入方式 [10] - **自动驾驶中的强化学习算法**:纯模仿学习存在局限,需结合强化学习以学习因果关系并实现泛化,章节重点介绍强化学习算法及其训练策略 [11] - **端到端轨迹输出优化**:章节进行NN Planner项目实战,涵盖基于模仿学习的扩散模型与自回归算法,以及在监督微调后结合强化学习的实战 [12] - **兜底方案-时空联合规划**:为应对模型输出非100%准确,量产需轨迹平滑优化等后处理兜底逻辑,章节介绍多模态轨迹打分搜索及轨迹平滑算法 [13] - **端到端量产经验分享**:最终章节从数据、模型、场景、规则等多视角分享量产经验,剖析如何选用合适工具与策略以提升系统能力边界 [14] 讲师背景 - 讲师王路拥有C9本科和QS50高校博士学位,已发表若干CCF-A和CCF-B论文 [4] - 现任国内顶级Tier1供应商算法专家,从事大模型、世界模型等前沿算法的预研与量产工作 [4] - 所研发算法已成功落地并量产,拥有丰富的端到端算法研发和实战经验 [4]