自动驾驶技术发展路线 - 技术路线从基于规则时期转变为以理想、小鹏等新势力为代表的端到端到VLA范式时期，现阶段进入以蔚来为代表的世界模型时期[1] - 深度学习始终是技术路线的核心组成部分，行业建议学习前沿理论、底层基础理论和代码能力以应对技术快速迭代[1] 课程内容与目标 - 课程涵盖从模块化量产算法到端到端、VLA的技术演进，核心算法包括BEV感知、视觉语言模型VLM、扩散模型、强化学习、世界模型等[5] - 学习目标为掌握端到端技术框架，复现扩散模型、VLA等主流算法，学完后可达1年左右端到端自动驾驶算法工程师水平[5] 导师资质与行业资源 - 主讲导师为C9本科+QS前50 PhD背景，发表CCF-A论文2篇，现任国内TOP主机厂算法专家，主持过多项自动驾驶感知和端到端算法的量产交付[6] - 公司拥有300+专职于自动驾驶/具身智能方向的导师，来自全球QS前100高校，近3年辅导学员超400名，中稿率达96%[8][15] - 优秀学员可获得清北/MIT等名校推荐信或内推至阿里达摩院、华为诺亚方舟等企业研发岗[19] 科研辅导服务 - 辅导覆盖选题、调研、idea验证、代码实现、实验、润色、投稿全流程，目标包括CCF-A/B/C、SCI1-4区、EI会议等[15] - 服务包含班主任全程督学，针对零基础学员提供基础课程，承诺6个月可完成一篇小论文[18] - 通过精准匹配系统从300+导师中筛选3-5位方向契合者，支持试听和退款机制[18][19]

文章核心观点 - 视觉-语言-动作模型是当前人工智能领域极具吸引力的前沿阵地，其目标是让机器人具备听懂人话、看懂世界、动手干活的能力 [7] - ICLR 2026会议上VLA模型相关投稿量从去年的个位数飙升至164篇，增长了18倍，显示出该领域的爆发式增长 [6] - 学术界对VLA尚无统一定义，但核心标准是模型必须使用经过大规模互联网级别视觉-语言数据预训练的骨干网络 [8][9] VLA概念定义与区分 - VLA模型强调基因，必须继承自强大的视觉语言模型，具备语言理解、视觉泛化和任务迁移能力 [9][12] - 大型行为模型强调养料，指在大规模多任务机器人演示数据上训练出的策略 [11][13] - 一个在大量机器人数据上微调的VLA同时也是一个LBM，但LBM不一定是VLA [13][14] - 简单拼接独立视觉编码器和文本编码器的模型应称为多模态策略，而非VLA [11] ICLR 2026 VLA八大技术趋势 - **高效架构新范式**：离散扩散模型成为新风向，可并行生成整个动作序列，在LIBERO评测中取得近乎饱和表现 [15][16][17] - **具身思维链**：让机器人生成动作前先产生中间推理步骤，提升计划与解释能力，在SIMPLER等评测中表现突出 [18][19][20][21] - **动作分词器**：将连续高频机器人动作转换为VLM能理解的离散词汇，包括FASTer Tokenizer和OmniSAT等新进展 [22][25][31] - **强化学习微调**：作为VLA策略的微调利器，代表作在LIBERO和SIMPLER上分别取得99%和98%的成功率 [26][27][32] - **效率优化**：通过HyperVLA的超网络机制和AutoQVLA的智能量化等技术降低硬件门槛，使VLA走向平民化 [28][29][33] - **视频预测赋能**：利用视频生成模型理解时序动态和物理规律，为机器人控制提供强先验知识 [30][35][36] - **真实评测基准**：社区开发如RoboCasa365和WorldGym等新基准，致力于打破对现有测试集的过拟合 [37][40][47] - **跨体态学习**：通过X-VLA的软提示、XR-1的统一视觉-运动编码等技术让模型适应不同结构的机器人 [41][43][48] 行业现状与挑战 - 主流仿真评测存在性能天花板问题，开源模型仿真得分高但真实世界表现仍难匹敌前沿产品如Google的Pi-0.5 [44][45] - 头部公司凭借海量高质量真实数据、更看重开放环境和泛化能力的评测维度以及大规模工程支持占据优势 [49] - 数据质量中的噪声、歧义和次优行为可能限制模型上限，上下文学习机制向机器人领域的迁移或是通用VLA的突破口 [50] 作者背景与权威性 - 作者Moritz Reuss是德国卡尔斯鲁厄理工学院四年级博士生，2025年Apple AI/ML学者奖得主 [4][46][52] - 作为将扩散模型引入机器人策略研究的先行者，其研究成果多次发表于RSS、ICLR、NeurIPS等顶级会议 [4][52]

技术发布与核心观点 - 特斯拉在计算机视觉顶会ICCV上展示了其世界模拟器 该模拟器能够生成逼真的驾驶场景视频 [1] - 特斯拉自动驾驶副总裁Ashok Elluswamy首次揭秘了公司的自动驾驶技术路线图 并明确表示端到端AI是智能驾驶的未来 [1][5] 世界模拟器功能与应用 - 世界模拟器可为自动驾驶任务生成新的挑战场景 例如模拟右侧车辆突然连并两条线闯入预设路径 [2] - 生成的场景视频不仅用于自动驾驶模型的训练 也可作为电子游戏供人类体验 [2] - 该模拟器技术同样适用于其他具身智能场景 如特斯拉的擎天柱机器人 [4] 端到端自动驾驶技术优势 - 特斯拉采用端到端神经网络实现自动驾驶 该网络利用来自多个摄像头、运动信号、音频及地图等数据 直接生成车辆控制指令 [8] - 端到端方法相比模块化方法的主要优势包括：更易于从数据中学习人类价值观、通过梯度整体优化网络、易于扩展处理长尾问题、具有确定性延迟的同质计算 [8] - 该方法能处理复杂权衡 例如在视野开阔且对向车道无车时 决策借用对向车道绕过积水 这用传统编程逻辑难以表达 [8][10] 端到端自动驾驶的挑战与解决方案 - 端到端自动驾驶面临评估困难 特斯拉的世界模拟器正是针对此难题 它使用海量数据集训练 能根据当前状态和行动合成未来状态 用于闭环性能评估和大规模强化学习 [11] - 系统面临"维数灾难" 输入信息量巨大 例如7个摄像头×36FPS×5百万像素×30秒画面等数据 大约会产生20亿输入Token 而神经网络需将其精简为2个输出Token（转向和加速） [13] - 为解决维数灾难 特斯拉通过庞大车队每天收集相当于500年驾驶总和的数据 并使用复杂数据引擎筛选高质量样本 以提升模型泛化能力 [13] - 针对可解释性和安全性调试困难的问题 模型可以生成可解释的中间Token用作推理Token [15] 技术实现细节 - 特斯拉的生成式高斯泼溅技术具有出色泛化能力 无需初始化即可建模动态物体 并可与其他模型联合训练 [18] - 该技术中所有的高斯函数均基于量产车配置的摄像头生成 [20] - 推理过程可通过自然语言和视频背景进行 该推理模型的一个小版本已在FSD v14.x版本中运行 [21] 行业技术路线对比 - 尽管端到端被视为未来 但业界在具体算法路线上存在VLA和世界模型之争 [24] - 华为和蔚来是世界模型路线的代表 而元戎启行和理想则选择VLA路线 也有观点认为应结合两者 [24] - VLA路线的优势在于可利用互联网海量数据积累常识 并借助语言能力进行长时序推理 有尖锐观点认为不使用VLA是因为算力不足 [24] - 世界模型路线支持者则认为其更接近问题本质 例如华为车BU CEO靳玉志认为VLA路径看似取巧并不能真正实现自动驾驶 [24] - 特斯拉的方案备受关注 因其在自动驾驶发展历程中的技术选择具有风向标意义 [24]

世界模拟器技术 - 特斯拉在ICCV顶会上推出世界模拟器 可生成看似真实的驾驶场景用于自动驾驶测试 [1][4] - 模拟器功能包括生成新的挑战场景 如右侧车辆突然连并两条线闯入预设路径 以及让AI在已有场景中执行避障任务 [5][7] - 生成的场景视频不仅用于自动驾驶模型训练 还可作为电子游戏供人类体验 [9] 端到端自动驾驶技术路线 - 特斯拉自动驾驶副总裁明确表示端到端AI是自动驾驶的未来 该方法利用多摄像头图像、运动信号、音频、地图等数据直接生成控制指令 [12][13][17] - 与模块化方法相比 端到端优势包括更易从数据中学习人类价值观、通过梯度整体优化网络、可扩展性更强以及具有确定性延迟 [17][18] - 端到端架构面临评估难题 特斯拉世界模拟器通过合成未来状态来连接策略模型 以闭环方式评估性能并支持强化学习 [22][23][24] 技术挑战与解决方案 - 端到端系统面临维数灾难 输入信息可达20亿Token 需精简为2个控制动作 [26][27][28] - 公司通过庞大车队每日收集相当于500年驾驶总和的数据 并利用数据引擎筛选高质量样本以提升模型泛化能力 [29][30] - 针对可解释性问题 模型可生成中间Token用作推理Token 生成式高斯泼溅技术可建模动态物体并与端到端模型联合训练 [32][35] 行业技术路线分歧 - 业界存在VLA和世界模型两条端到端自动驾驶技术路线分歧 华为、蔚来代表世界模型路线 元戎启行、理想选择VLA路线 [38][39] - VLA路线支持者认为该范式可利用互联网海量数据积累常识 并通过语言能力进行长时序推理 有观点认为不用VLA是因算力不足 [39][40] - 世界模型支持者如华为车BU CEO认为VLA路径看似取巧不能真正实现自动驾驶 特斯拉方案因历史选择正确而受关注 [41][43][44]

端到端自动驾驶技术发展现状 - 2023年是端到端量产的元年，2025年将是端到端量产的大年，目前头部新势力和主机厂端到端技术均已实现量产[1] - 工业界存在一段式和两段式两种主要技术范式，一段式代表UniAD直接从传感器输入建模自车轨迹输出，二段式基于感知结果进一步输出自车和他车轨迹[1] - 2024年以来一段式端到端快速发展，衍生出基于感知、世界模型、扩散模型和VLA等多种一段式方法[3] 端到端自动驾驶技术体系 - 端到端与VLA技术涉及BEV感知、视觉语言模型VLM、扩散模型、强化学习等核心内容[5] - 主流自动驾驶企业包括智驾方案供应商和车企都在发力端到端自动驾驶的自研量产[3] - 技术栈涵盖学术界和工业界最前沿的方法，二段式端到端与一段式端到端前沿算法都是工业界和学术界的Baseline[5] 端到端自动驾驶课程内容 - 课程第一章介绍端到端发展历史、技术范式演变及优缺点，分析学术界和工业界研究方向[9] - 第二章重点讲解端到端背景知识，包括VLA涉及的大语言模型、扩散模型、强化学习，以及一段式端到端涉及的BEV感知[9] - 第三章聚焦二段式端到端，讲解经典算法PLUTO、CVPR'25的CarPlanner和最新工作Plan-R1[10] - 第四章涵盖一段式端到端子领域：基于感知的UniAD、基于世界模型、基于扩散模型和基于VLA的方法[12] - 课程大作业选择RLHF微调实战，涵盖预训练模块搭建、强化学习模块搭建和实验实施[13] 端到端自动驾驶技术细节 - 基于感知的方法讲解UniAD和地平线VAD，以及CVPR'24的PARA-Drive[14] - 基于世界模型的方法介绍AAAI'25的Drive-OccWorld和复旦团队的OccLLaMA，探讨世界模型在场景生成、端到端和闭环仿真中的应用[14] - 基于扩散模型的方法讲解DiffusionDrive、Diffusion Planner和吉大DiffE2E，配套Diffusion Planner实战[14] - 基于VLA的方法选取小米ORION、慕尼黑工大OpenDriveVLA和最新ReCogDrive，以ORION作为实战案例[14] 端到端自动驾驶学习目标 - 课程是首个面向端到端自动驾驶的进阶实战教程，旨在推动端到端在工业界落地[15] - 学员学完后能达到1年左右端到端自动驾驶算法工程师水平，掌握端到端技术框架和关键技术[19] - 学习成果包括可复现扩散模型、VLA等主流算法框架，并能将所学应用到实际项目中[19]

自动驾驶技术路线定义与共识 - VLA/世界模型/端到端等技术路线缺乏公认的排他性定义，其共同点是要求模型具备生成与真实世界一致的道路视频数据的能力，并以视觉信息为输入最终控制车辆行动 [1][2] - 技术路线之间的核心区别在于语言是否参与、参与深度以及架构形式，例如语言相关的token是当前LLM的text token还是潜在的photon token [2] - 不同企业宣传的VLA细节可能存在巨大差异，未来VLA与VLA之间的区别可能大于VLA与传统方法的区别 [2][3] 头部车企技术路线共性分析 - 头部智驾车企在自动驾驶探索上共同性大于差异性，内核是宣传分歧而非技术路线分歧 [1] - 理想汽车与特斯拉均认为扩散模型有利于自动驾驶，3D高斯泼溅生成世界模型优于神经辐射场，且世界模型用于评估很重要 [12] - 两家公司均认为将人类价值观编入代码极其困难，并且在输出层面，理想汽车认为输出轨迹优于直接输出油门方向盘电信号 [5][12] 语言在自动驾驶中的作用与潜力 - 语言在自动驾驶中的作用主要体现在长推理、用户交互价值观对齐以及理解世界 [1] - 对“预测下一个token”的理解分歧影响对LLM潜力的判断，越认为其不只是概率分布的人越认可语言可以理解世界 [1][12] - OpenAI联合创始人Ilya Sutskever认为，足够好的下一个token预测意味着模型理解了token产生的潜在现实，这使其可能推断出超越已有数据范围的高智慧行为 [13][15][17] 端到端架构的具体实现探讨 - 端到端缺乏公认的排他性定义，传感器信号进、输出轨迹亦可称为端到端，在此定义下理想汽车的VLA架构符合端到端特征 [5][7] - 有观点认为特斯拉端到端模型实际输出的是轨迹而非油门方向盘电信号，依据包括跨车型适配的冗余设计问题及特斯拉高管在公开场合的模糊回应 [5][6] - 特斯拉技术负责人Ashok Elluswamy在ICCV 2025上表示，端到端的核心前提是梯度必须端到端流动，输出形式是经验性问题，这进一步支持了端到端定义的宽泛性 [6] 技术演进的长远视角 - 马斯克提出长远来看AI模型输入和输出99%以上将是光子，这回应了关于DeepSeek-OCR等工作中降低计算量的潜力 [10] - VLA定义的最大公约数是输入为视觉或多模态，语言以某种形式参与，最终输出指向广义机器人动作的模型 [11] - 长远来看，可能不再使用text token来理解语言，而是采用更底层的表征方式 [10][11]

业务拓展计划 - 公司计划在2024年向国内外招募10名业务合伙人 [2] - 合伙人将负责自动驾驶相关课程研发、论文辅导业务开发及硬件研发 [2] 重点技术方向 - 公司关注的前沿技术方向包括大模型/多模态大模型、扩散模型、VLA、端到端自动驾驶 [3] - 其他重点方向涵盖具身交互、联合预测、SLAM、3D目标检测、世界模型 [3] - 同时关注闭环仿真3DGS、大模型部署与量化感知推理等关键技术 [3] 人才招聘要求 - 合伙人岗位要求应聘者毕业于QS200以内高校并拥有硕士及以上学历 [4] - 优先考虑在顶级学术会议上有研究成果的候选人 [4] 合伙人待遇与激励 - 提供自动驾驶领域的资源共享，包括求职、读博及出国留学推荐 [5] - 合伙人将获得丰厚的现金激励 [5] - 提供创业项目合作与推荐机会 [5]

理想智驾与特斯拉的技术发展关系 - 理想智驾从V10-11时期的跟随特斯拉转变为V12及以后的参考特斯拉，跟随尺度显著降低[2] - 转变的核心锚点是理想在VLM后进行了大量特斯拉未公开提及的原始创新，其VLA创新度达到DeepSeek MoE水平[2] - 理想VLM由快系统（系统一）和慢系统（系统二）组成，快系统部分可视为跟随特斯拉，但慢系统部分为理想独立创新，因为特斯拉直到ICCV 2025才提及该概念，而理想在2024年X月已发表相关论文[3] - 理想VLM到VLA的演进是基于VLM的自然发展路线，而非追随特斯拉[3] 特斯拉端到端自动驾驶技术框架 - 特斯拉转向单一、大型的端到端神经网络，直接输入像素和传感器数据，输出控制动作，不再有显式感知模块[4] - 转向端到端的原因包括：人类价值观编码困难、传统模块接口信息丢失、易于扩展处理长尾问题、实现同构计算与确定性延迟[5] - 面临三大挑战：维度灾难（30秒窗口达20亿token）、可解释性与安全保证、评估难度[6][7] - 解决方案包括：利用车队数据挖掘高价值场景、通过辅助输出（如3D占用、自然语言决策）实现可解释性、使用神经网络闭环模拟器进行评估[7][8][9][10] 理想与特斯拉技术路线的对比与创新时序 - Ashok在ICCV 2025提及的系统2自然语言应用、高斯溅射生成仿真、仿真评估等概念均为理想率先公开[13][16] - 理想在2024年1月2日发表的论文已包含3D高斯表征相关内容，早于特斯拉ICCV 2025的公开介绍[18][20] - 特斯拉架构图中明确标注系统2和LLM应用，进一步验证理想在相关技术方向的先行性[22] - Ashok此次演讲未提出突破性概念，因此不能认为特斯拉再次引领行业研究方向调整[13]

白皮书核心发布 - 中国汽车工程学会与吉利汽车研究院在SAECCE 2025上联合发布行业首份以AI Car为主题的白皮书《Al Car的初步畅想与探索实践》[1][3] AI Car的产品定义与本质 - AI技术将颠覆智能终端开发范式，推动汽车成为具身智能体（AI Car）[3] - AI Car将扮演司机与伙伴两个核心角色[3] - AI Car的本质是由驾驶、座舱、底盘、动力等多个子智能体有机融合的超级智能体[3] 十大关键技术判断 - VLA将改变自动驾驶系统设计逻辑，成为驾驶智能体基础模型[3] - 世界模型作为对真实世界的极致压缩，将成为理解预测未来的基础工具[3] - 算力优化与数据闭环是驾驶智能体实现高效自迭代的核心抓手[4] - 超拟人交互将重塑人车关系，助力座舱智能体迈向终极形态[5] - 基于端云协同、大小协同的交互功能智能分配将成为座舱应用范式[6] - 在多端互联推动下，AI OS将加速从座舱开始落地应用[6] - 智能底盘与动力将成为精准动态控制、保障行车安全的运动控制大脑[7] - AI将赋能形成智驾+底盘更大的端到端系统，重构驾乘体验[8] - 动力电池向集实时感知、自主决策、动态响应的智能电池系统转型[9] - AI赋能下的全局最优能量策略将重塑车辆全周期能量管理范式[10] 对产业与企业的影响及建议 - AI Car产品变革将改写企业生存发展逻辑，战略目标由造好车转型为运营智能体[10] - 数据成为影响企业竞争力的核心战略资产，性能成本竞赛转为生态体系间价值网络对抗[10] - 企业突围需遵循生存三角新法则：定义智能体独特人格与价值主张以焕新品牌[10] - 资源配置需深挖全流程数据价值，打造开发至体验闭环，并搭建跨职能AI大研发团队[10][11] - 博弈逻辑要求整车企业加速构建全生态资源整合能力，提升跨终端智能协同体验以强化用户粘性[11]

特斯拉FSD技术架构曝光 - 特斯拉在ICCV会议上曝光FSD核心架构，显示其已整合为一张大型神经网络，可输入摄像头视频、导航信息、自车运动状态和声音等多模态信息[1][6] - 网络输出端包括全景分割信息、3D占用网络、3D高斯渲染、语言以及未公开信息，最终经推理输出动作[6] - 此次分享是特斯拉时隔3年后首次对外公开技术细节[4] 行业技术路线争议 - 曝光架构中输出语言信息，引发特斯拉可能采用VLA路线的猜想，行业当前存在VLA与世界模型的技术路线之争[7][10] - VLA路线代表为元戎启行和理想，认为该范式可利用互联网海量数据积累常识，并具备思维链能力进行长时序推理[7] - 世界模型路线代表为华为和蔚来，认为其更接近问题本质，在时空认知能力上比VLA具有更高带宽[10] 自动驾驶进入大模型阶段 - 曝光信息显示特斯拉FSD已步入大模型阶段，参数规模仍在扩大[10] - 行业认为更大参数模型需要更大算力支撑，今年涌现多款算力达1000TOPS甚至2000TOPS的新车[10] - 特斯拉新一代智能辅助驾驶芯片算力据称将直奔2000TOPS，模型参数将提高十倍[10] FSD最新版本功能更新 - FSD推送V14.1.3版本，包含10项更新，优化了对树枝、轮胎等细小障碍物的横向避让能力，并改善了无保护转弯、变道等场景的处理[12] - 增加个性化功能，用户可通过速度配置文件定制驾驶偏好，系统遇到特种车辆会靠边停车或让行[12] - 神经网络中添加导航和路线功能，可实时生成绕行路线以应对堵车，用户到达终点后可选择停车位置[12] - FSD重启疯狂麦克斯模式，驾驶风格激进，适用于赶飞机、接孩子等紧急场景[12][14] 中国自动驾驶发展态势 - 特斯拉不再对外技术分享后，中国玩家在VLA和世界模型方向持续进行无人区探索[17] - 中国自动驾驶算法正在告别特斯拉崇拜，国内有实力的AI玩家已不再关注马斯克的动向[17]