课程核心信息 - 课程名称为《世界模型与自动驾驶小班课》，是《端到端与VLA自动驾驶小班课》的进阶课程，聚焦于通用世界模型、视频生成、OCC生成等算法 [1] - 课程为首个面向端到端自动驾驶的进阶实战教程，旨在推动端到端在工业界的落地，助力学员理解端到端自动驾驶 [11] - 课程为离线视频教学，包含VIP群答疑及三次线上答疑，答疑服务截止2026年12月31日 [15] - 课程于1月1号开课，预计两个半月结课，各章节按计划时间解锁 [15][16] 讲师背景 - 讲师Jason拥有C9本科和QS50高校的博士学位，已发表2篇CCF-A论文及若干CCF-B论文 [3] - 现任国内TOP主机厂算法专家，从事端到端、大模型、世界模型等前沿算法的预研和量产 [3] - 拥有丰富的自动驾驶感知和端到端算法研发实战经验，已主持并完成多项相关算法的产品量产交付 [3] 课程大纲与内容 - **第一章：世界模型介绍** 复盘世界模型与端到端自动驾驶的联系，讲解其发展历史、应用案例、不同流派（如纯仿真、仿真+Planning、生成传感器输入、生成感知结果）及其在业界的应用环节，并介绍相关数据集与评测 [6] - **第二章：世界模型的背景知识** 讲解世界模型的基础知识，包括场景表征、Transformer、BEV感知等，这些内容是当下世界模型求职面试频率最高的技术关键词 [6][7] - **第三章：通用世界模型探讨** 聚焦通用世界模型及热门工作，涵盖李飞飞团队的Marble、DeepMind的Genie 3、Meta的JEPA、导航世界模型，以及VLA+世界模型算法DriveVLA-W0和特斯拉ICCV分享的世界模型模拟器 [7] - **第四章：基于视频生成的世界模型** 聚焦视频生成类世界模型算法，讲解Wayve的GAIA-1 & GAIA-2、上海交大CVR'25的UniScene、商汤的OpenDWM、中科大ICCV'25的InstaDrive，并以商汤开源的OpenDWM进行实战 [8] - **第五章：基于OCC的世界模型** 聚焦OCC生成类世界模型算法，包含三大论文讲解及一个项目实战，此类方法可扩展为自车轨迹规划以实现端到端 [9] - **第六章：世界模型岗位专题** 基于前五章基础，分享世界模型在工业界的应用现状、行业痛点、期望解决的问题，以及如何准备相关岗位面试 [10] 关键技术覆盖 - 课程将复习Transformer并扩展到视觉Transformer，讲解为多模态大模型奠定基础的CLIP和LLaVA [12] - 详细介绍BEV感知基础知识及世界模型常见的占用网络 [12] - 讲解扩散模型理论，该模型输出多模轨迹是当前学术界和工业界追捧的热点 [12] - 梳理世界模型中常提的闭环仿真、NeRF和3DGS的核心概念 [12] - 讲解其他生成式模型，如VAE、GAN以及Next Token Prediction [12] - OCC生成类世界模型部分将涵盖清华的OccWorld、复旦的OccLLaMA、华科ICCV'25的HERMES以及西交最新的II-World等经典与前沿工作 [13] 面向人群与学后收获 - **面向人群要求**：学员需自备GPU，推荐算力在4090及以上；需具备一定的自动驾驶领域基础，熟悉其基本模块；了解transformer大模型、扩散模型、BEV感知等技术基本概念；具备一定的概率论、线性代数及Python和PyTorch语言基础 [14] - **学后收获目标**：学员学完后能够达到1年左右世界模型自动驾驶算法工程师水平；掌握世界模型技术进展，涵盖视频生成、OCC生成等方法；对BEV感知、多模态大模型、3DGS、扩散模型等关键技术有更深刻了解；可复现II-World、OpenDWM等主流算法框架；能够将所学应用到项目中，设计自己的世界模型；在实习、校招、社招中均能受益 [14]