行业技术趋势 - 地平线HSD表现超预期，一段式端到端方案重新成为行业量产重心，其性能上限很高 [1] - 小鹏VLA2.0采用视觉和语言并行输入，印证了VLA是技术核心 [1] - 行业整体技术路线正从两段式端到端向一段式端到端过渡，并进一步向VLA演进，多家团队已进行相应调整 [1] 课程核心内容 - 课程重点聚焦量产实践，涵盖一段式、两段式端到端、强化学习、导航应用、轨迹优化及兜底方案 [3] - 课程仅限40名学员，旨在面向就业直击落地 [3] 讲师背景 - 讲师王路拥有C9本科和QS50博士学历，发表多篇CCF-A/B论文 [5] - 现任国内顶级Tier1算法专家，从事大模型、世界模型等前沿算法的预研与量产，具备丰富的端到端算法研发和实战经验 [5] 课程大纲详解 - **第一章**：介绍主流的感知模型一体化架构和经典的规控learning化方案，以及端到端开源数据集和评测方式 [8] - **第二章**：讲解两段式端到端算法框架，包括建模方式、感知与PNC信息传递、优缺点分析，并通过PLUTO算法实战加深理解 [9] - **第三章**：介绍一段式端到端算法框架，其可实现信息无损传递，性能优于两段式，涵盖基于VLA和Diffusion等方法，并通过VAD系列进行实战 [10] - **第四章**：讲解导航地图的格式、内容信息，及其在端到端模型中的编码与嵌入方式，以有效发挥导航能力 [11] - **第五章**：重点介绍强化学习算法及训练策略，以弥补纯模仿学习的不足，实现更好的泛化能力 [12] - **第六章**：进行NN Planner项目实战，包括基于模仿学习（扩散模型、自回归算法）和强化学习的结合应用 [13] - **第七章**：介绍量产中的轨迹平滑优化等兜底方案，包括多模态轨迹打分搜索和轨迹平滑算法，确保输出轨迹稳定可靠 [14] - **第八章**：从数据、模型、场景、规则等多视角分享量产经验，讲解如何选用合适策略快速提升系统能力边界 [15] 课程安排与学员要求 - 课程于11月30日开课，预计三个月结课，采用离线视频教学，辅以VIP群答疑和三次线上答疑 [16] - 课程章节按周解锁，例如12月7日解锁第二章，12月14日解锁第三章等 [16][18] - 学员需自备GPU，推荐算力在4090及以上，并熟悉BEV感知、视觉Transformer、端到端算法、强化学习、扩散模型等，具备Python、PyTorch及数学基础 [17]

舍弃VAE的扩散模型新范式 - 当前主流的隐扩散模型依赖预训练的变分自编码器将图像压缩至紧凑的潜空间，该范式包含VAE编码和潜空间扩散两个核心阶段[8] - VAE已成为下一代生成模型能力提升的主要瓶颈，其计算成本高昂，例如Stable Diffusion 2.1的VAE编码器处理高分辨率图像需要135.59 GFLOPs，超过其扩散U-Net网络的86.37 GFLOPs[8] - VAE的训练目标导致其潜空间存在语义纠缠问题，即不同类别对象特征混乱混合，缺乏清晰边界和聚类结构，这构成生成质量的保真度瓶颈并导致训练低效不稳定[9] - 纽约大学谢赛宁团队的RAE和清华&快手团队的SVG工作均选择弃用VAE，改用预训练语义编码器来构建新范式，以解决语义纠缠、计算效率低及生成与感知任务割裂等问题[9] - RAE提供了一个通用框架，通过将任意冻结的预训练语义编码器与轻量级解码器配对，将扩散模型引入高维但语义丰富的潜空间[9] - SVG提出一种完全无VAE的架构，通过融合冻结的DINOv3语义主干和专用于捕捉细节的残差分支，构建兼具语义判别性与重构保真度的统一表征空间[10] - RAE和SVG的核心思路是将扩散模型从压缩优先转为语义优先，通过继承预训练基础模型的语义丰富表征空间，以解锁更优的效率、生成质量和任务通用性[10] - RAE和SVG均利用海量数据预训练的视觉基础模型所提供的强大先验知识，RAE的核心思想是表征优先，直接继承预训练语义编码器的能力以填补自编码器的语义鸿沟[11] 多模态大语言模型的视觉衰减问题 - 文本主导性跨越图像、视频、音频等不同模态，已成为多模态大语言模型的普遍缺陷[2] - 当推理链延长时，模型的注意力会从视觉Token迁移至语言Token[2] - 跨模态连接值的指数衰减定律影响了视觉信息在深层架构中的有效性[2] - 双通道注意力对齐机制可用于消除模态间的不一致性[2] - VAR方法旨在确保所有推理都基于可追溯的视觉事实[2] AI时代的商业法则与投资趋势 - LinkedIn创始人Reid Hoffman提出AI时代黄金商业法则为懒惰且富有[3] - Hoffman断言万物皆可软件化是硅谷的致命盲区[3] - AI时代的贪婪与懒惰法则可能终结Web 2.0时代先烧钱、后盈利的传统路径[3] - 顶尖大语言模型只能给出B-级共识，这种现象意味着人类专家的价值可能从知识储存库转移到了反共识思维[3] - Hoffman押宝原子世界，显示出对物理世界和数字世界结合领域的投资兴趣[3]

Diffusion架构与自回归架构在多模态大一统模型中的对比 - 多模态能力被视为实现人类级别智能的必要条件 构建大一统模型成为关键目标 旨在用单一架构统一处理文本 图像 音频 视频 3D模型及机器人动作信号等异构数据类型[8] - 自回归架构长期主导多模态领域 Transformer系列LLM从NLP扩展至多模态 催生LLaVa Qwen-VL InternVL Ovis和GPT4等模型[8] - 扩散架构原主要应用于视觉生成领域 如Stable Diffusion和DiT 但近期扩散语言模型在NLP任务突破 重新引发对其实现多模态大一统潜力的关注[8] Diffusion架构的理论优势与潜力 - 扩散范式天然支持并行生成 精细化控制和动态感知 这些是自回归模型难以实现的能力[9] - 离散扩散架构被强调为替代自回归实现多模态统一处理的潜在方案[9] - 扩散语言模型通过并行生成和迭代式去噪解决自回归模型推理速度瓶颈 具有扩展至其他模态的潜力[9] 生成式建模的信息论基础 - 自回归模型本质是预测下一个token 通过最小化序列描述长度实现无损压缩 尤其适应NLP任务[9] - 多模态自回归模型需将输入转换为一维序列 早期使用双编码器架构分别处理图像文本 后转向仅解码器架构并通过连接器转换图像嵌入[10] - 扩散架构本质是纠错机制 正向加噪和反向去噪过程同样构成强大压缩框架 且支持两种压缩模式[11]