世界模型与端到端自动驾驶的关系 - 世界模型并非端到端自动驾驶本身，而是实现端到端自动驾驶的一种途径[2] - 行业将自动驾驶世界模型的研究收敛于生成和重建两大领域[2] - 目前主流应用是利用世界模型进行闭环仿真，以应对Corner Case成本过高的问题[2] 世界模型课程核心内容架构 - 课程第一章概述世界模型与端到端自动驾驶的联系、发展历史、应用案例及不同技术流派[5] - 课程第二章涵盖世界模型的基础知识，包括场景表征、Transformer、BEV感知等，是求职面试的高频技术点[5][6] - 课程第三章探讨通用世界模型，解析李飞飞团队Marble、DeepMind Genie 3、Meta JEPA、DriveVLA-W0及特斯拉世界模型模拟器等前沿工作[6] - 课程第四章聚焦视频生成类世界模型，讲解Wayve的GAIA-1 & GAIA-2、上交UniScene、商汤OpenDWM、中科大InstaDrive等算法，并以OpenDWM进行实战[7] - 课程第五章聚焦OCC生成类世界模型，讲解三大论文并进行一个项目实战，此类方法可扩展至自车轨迹规划[8] - 课程第六章分享世界模型在工业界的应用现状、行业痛点、期望解决的问题以及相关岗位的面试准备经验[9] 世界模型涉及的关键技术栈 - 基础技术包括Transformer、视觉Transformer、CLIP、LLaVA等多模态大模型基础[11] - 涉及BEV感知基础知识及占用网络[11] - 涵盖扩散模型理论，该模型是输出多模轨迹的热点技术[11] - 包括闭环仿真相关的NeRF和3DGS技术[11] - 也涉及其他生成式模型，如VAE、GAN以及Next Token Prediction[11] 世界模型相关的重要研究 - 国内重要研究包括清华的OccWorld、复旦的OccLLaMA、华科ICCV'25的HERMES以及西交的II-World[12] 课程目标与受众要求 - 课程目标是推动端到端自动驾驶在工业界的落地，助力从业者深入理解端到端技术[10] - 学员需自备GPU，推荐算力在4090及以上[13] - 学员需具备自动驾驶领域基础，熟悉其基本模块[13] - 学员需了解transformer大模型、扩散模型、BEV感知等基本概念[13] - 学员需具备一定的概率论、线性代数及Python、PyTorch基础[13] - 课程期望使学员达到约1年经验的自动驾驶算法工程师水平，掌握世界模型技术进展及BEV感知等关键技术，并能复现主流算法框架[13] 课程进度安排 - 课程于1月1日开课，预计两个半月结课，采用离线视频教学，提供VIP群答疑及三次线上答疑，答疑服务截止2026年12月31日[14] - 各章节解锁时间：第一章12月10日，第二章1月1日，第三章1月20日，第四章2月4日，第五章2月24日，第六章3月1日[15]

端到端模型与VLA技术路线 - 理想汽车在端到端模型结合视觉语言模型量产的后期发现两大问题：训练数据量超过1000万片段后，模型性能提升速度显著变慢，5个月内平均无干预接管里程仅增长约2倍[5]；端到端模仿学习缺乏深度逻辑思维能力，导致违反常理行为、决策不够智能及安全感不足[5] - 为解决上述问题，公司引入视觉语言模型，并主推视觉语言行为模型量产，期望其平均无干预接管里程达到1000公里以上[2][5] - 视觉语言行为模型具备三大核心能力：空间智能代表对远距空间和全局语义的理解能力；语言智能代表通过思维链生成决策并听懂人类指令，联合训练后推理速度可达10赫兹以上；行为策略代表使用扩散模型直接生成平滑轨迹，支持多种驾驶可能性[6] 仿真测试与闭环训练体系 - 公司升级模型评测方式，使用世界模型进行闭环仿真和测试，使后训练和强化学习环节的评测效率更高，测试成本从每公里18.4元大幅降低至0.53元[9] - 基于世界模型构建的仿真平台可实现强化学习，架构包括云端训练平台进行数据管理和奖励模型更新，更新后的模型在仿真平台运行，高价值数据反馈至样本库[11] - 为配合区域仿真，公司构建世界模型3D资产库，可根据训练需求将资产注入仿真世界作为交通参与智能体[12] 算力资源配置 - 理想汽车总算力达到13EFLOPS，其中10EFLOPS用于训练，3EFLOPS用于推理[13] - 公司拥有5万张训练和推理卡，推理卡算力等效3万个L20，训练卡算力等效2万个H20[13] - 在视觉语言行为模型时代，推理算力尤为重要，缺乏推理卡将无法生成仿真训练环境[13]