行业技术趋势与人才需求 - 自动驾驶行业端到端技术路线已被头部玩家验证可行 其他车企正跟进投入人力和资源 [2] - 导航信息、强化学习、扩散模型、自回归、时空联合规划是当前端到端量产落地最重要的技术栈 [2] - 行业面临人才挑战 候选人往往只懂部分技术 在导航信息引入、强化学习调优、轨迹建模优化等具体量产经验上存在痛点 [2] 课程核心内容与结构 - 课程为期三个月 包含七个实战项目 聚焦量产应用 [2] - 课程核心算法涵盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 [2] - 课程最终章节将分享从数据、模型、场景、规则等多视角的量产经验 [14] 技术模块详解 - **第一章：端到端任务概述** 介绍感知任务合并与规控算法learning化的主流趋势 讲解感知模型一体化架构和规控learning化方案 并介绍开源数据集与评测方式 [7] - **第二章：两段式端到端算法** 讲解两段式框架建模及感知与PNC信息传递方式 分析其优缺点 并通过PLUTO算法进行实战 [8] - **第三章：一段式端到端算法** 介绍一段式框架 其可实现信息无损传递 性能优于两段式 涵盖基于VLA和基于Diffusion等方法 并通过VAD系列进行深入学习 [9] - **第四章：导航信息量产应用** 讲解导航地图的格式与内容 及其在端到端模型中的编码与嵌入方式 以更有效发挥导航能力 [10] - **第五章：自动驾驶中的RL算法** 在模仿学习基础上引入强化学习以解决人类驾驶风格差异和corner-case场景数据稀缺问题 实现模型泛化 重点介绍强化学习算法及训练策略 [11] - **第六章：端到端轨迹输出优化** 进行nn planner项目实战 包括基于模仿学习的扩散模型与自回归算法 以及后续的强化学习算法 [12] - **第七章：时空联合规划兜底方案** 介绍量产中用于轨迹平滑优化的后处理兜底逻辑 包括多模态轨迹打分搜索算法和轨迹平滑算法 以保证输出轨迹稳定可靠 [13] 课程安排与学员要求 - 课程采用离线视频教学 配合VIP群答疑及三次线上答疑 答疑服务截止2026年11月30日 [15] - 课程从11月30日开始 按周或双周解锁新章节 至次年2月24日完成全部八章内容 [16][18] - 课程面向进阶学员 建议自备算力在4090及以上的GPU 并熟悉BEV感知、视觉Transformer、端到端算法、强化学习、扩散模型理论 具备Python、PyTorch及mmdet3d框架基础 [17]

算法核心原理 - Flow Matching是一种生成式模型，旨在学习一个从随机噪声数据到目标数据分布的映射，其核心思想是学习一个速度场（或方向场），指导数据点从初始噪声状态向目标状态移动 [3][4][5] - 与直接学习端到端映射不同，Flow Matching通过构造从源点（噪声）到目标点的连线，并在连线上采样中间点，让模型学习这些中间点应该朝目标点移动的方向（即速度场），训练时，同一个中间点可能受到多条连线影响，其学习到的方向是多个目标方向的均值 [16][17] - 在推理（生成）阶段，模型从一个随机噪声点出发，依据学习到的速度场逐步移动，随着移动过程，状态的可能性会逐渐“坍缩”到目标分布中的某个特定样本附近，从而生成高质量结果，这避免了直接映射可能导致的输出为多个目标状态均值的问题 [7][17] 算法优势与对比 - 相比自回归生成模型（逐个像素/元素生成），Flow Matching在一次前向传播中生成整个样本，效率更高，避免了自回归模型需要多次调用模型的低效问题 [10] - 相比扩散模型（Diffusion Model），Flow Matching被视为一种更直接高效的替代方案，它通过学习确定性的移动方向来生成数据，而非多步迭代去噪，因此在Stable Diffusion 3、Meta MovieGen等先进模型中已开始应用 [12] - 该算法通过逐步“坍缩”状态来确保生成质量，在推理初期，移动方向可能是多个可能性的平均，但随着过程推进，方向会越来越确定，最终收敛到目标分布中的一点 [11][17] 算法实现与代码 - 基础实现包含几个关键步骤：为每个目标样本生成一个随机噪声源点；在源点与目标点连线上进行线性插值，采样得到中间点；用一个神经网络预测这些中间点的速度场；使用源点到目标点的真实方向向量作为监督信号进行训练 [18] - 代码示例以生成二维正弦曲线上的点为例，定义了向量场预测网络，在训练循环中计算预测速度场与目标速度场（`x1 - x0`）之间的均方误差损失，并通过数值求解常微分方程（ODE）的方式从噪声点出发生成最终样本 [19][20][21] - 算法可扩展为条件生成模型，通过简单修改网络结构，在输入中融入提示词（如标签、文本等）信息，即可控制生成样本的特定属性，例如控制生成正弦曲线上特定区间的点 [24][26][29] 高级应用实例 - 在手写数字生成（MNIST）任务中，采用了条件UNet作为预测速度场的骨干网络，因其具有多尺度特征融合能力，适合图像类生成任务 [32][33] - 在推理阶段，采用了自适应步长的ODE求解器（如`dopri5`方法），替代固定的欧拉法步进，可以在相同的迭代步数下获得更精细的生成结果，提升了生成效率和质量 [32][36] - 训练流程中，动态生成噪声样本和时间步长`t`，通过`xt = (1 - t) * noise + t * images`构造中间状态，并让模型预测从噪声到真实图像的向量场 [40]

算法核心原理 - Flow Matching是一种生成式模型，旨在从随机输入生成与目标数据集相似的样本[3][4] - 与直接学习随机数据到目标数据的映射不同，该算法通过学习一个“行驶方向”或速度场，引导随机点逐步移动到目标分布区域[12][14] - 训练时在源点到目标点的连线上采样中间点，并学习其朝向目标点的移动方向，推理时从随机点出发，沿学习到的方向场移动，最终收敛到目标分布[16][17] 技术优势与比较 - 相比自回归模型逐像素生成效率低的问题，Flow Matching通过一次生成关联较小的区域来平衡效果与效率[9][10] - 相较于扩散模型的多步迭代降噪，Flow Matching提供了一种更直接高效的生成方案，已被Stable Diffusion 3、Meta MovieGen等应用[12] - 该算法能有效避免模型输出因可能性过多而退化为多种可能状态平均值的问题，生成质量更高[7][11] 代码实现与实战 - 基础实现包含生成随机源点、与目标点线性插值得到中间点、训练网络预测速度场并与真实方向计算损失等关键步骤[18][19] - 带提示词的生成模型可通过在预测网络中增加提示词输入实现，将生成过程约束到特定条件或区间[24][26] - 在MNIST手写数字生成任务中，采用UNet作为骨干网络以融合多尺度特征，并改用自适应步长ODE求解器以提升生成精度[32][34][36] 行业应用与前景 - 端到端自动驾驶算法工程师等岗位薪资范围达50-80K，显示市场对相关技术人才需求旺盛[50] - 行业课程涵盖从算法框架、强化学习应用到轨迹优化、模型部署等量产经验，旨在培养面向就业的实战能力[48][49] - 量产专家分享的导航信息编码、时空联合规划兜底等经验，直接关联算法在真实场景中的落地优化[47][49]

行业技术趋势 - 地平线HSD表现超预期，一段式端到端方案重新成为行业量产重心，其性能上限很高 [1] - 小鹏VLA2.0采用视觉和语言并行输入，印证了VLA是技术核心 [1] - 行业整体技术路线正从两段式端到端向一段式端到端过渡，并进一步向VLA演进，多家团队已进行相应调整 [1] 课程核心内容 - 课程重点聚焦量产实践，涵盖一段式、两段式端到端、强化学习、导航应用、轨迹优化及兜底方案 [3] - 课程仅限40名学员，旨在面向就业直击落地 [3] 讲师背景 - 讲师王路拥有C9本科和QS50博士学历，发表多篇CCF-A/B论文 [5] - 现任国内顶级Tier1算法专家，从事大模型、世界模型等前沿算法的预研与量产，具备丰富的端到端算法研发和实战经验 [5] 课程大纲详解 - **第一章**：介绍主流的感知模型一体化架构和经典的规控learning化方案，以及端到端开源数据集和评测方式 [8] - **第二章**：讲解两段式端到端算法框架，包括建模方式、感知与PNC信息传递、优缺点分析，并通过PLUTO算法实战加深理解 [9] - **第三章**：介绍一段式端到端算法框架，其可实现信息无损传递，性能优于两段式，涵盖基于VLA和Diffusion等方法，并通过VAD系列进行实战 [10] - **第四章**：讲解导航地图的格式、内容信息，及其在端到端模型中的编码与嵌入方式，以有效发挥导航能力 [11] - **第五章**：重点介绍强化学习算法及训练策略，以弥补纯模仿学习的不足，实现更好的泛化能力 [12] - **第六章**：进行NN Planner项目实战，包括基于模仿学习（扩散模型、自回归算法）和强化学习的结合应用 [13] - **第七章**：介绍量产中的轨迹平滑优化等兜底方案，包括多模态轨迹打分搜索和轨迹平滑算法，确保输出轨迹稳定可靠 [14] - **第八章**：从数据、模型、场景、规则等多视角分享量产经验，讲解如何选用合适策略快速提升系统能力边界 [15] 课程安排与学员要求 - 课程于11月30日开课，预计三个月结课，采用离线视频教学，辅以VIP群答疑和三次线上答疑 [16] - 课程章节按周解锁，例如12月7日解锁第二章，12月14日解锁第三章等 [16][18] - 学员需自备GPU，推荐算力在4090及以上，并熟悉BEV感知、视觉Transformer、端到端算法、强化学习、扩散模型等，具备Python、PyTorch及数学基础 [17]