世界模型在自动驾驶领域的愿景与探索 - 世界模型的愿景是理解并改变物理世界，其核心在于以持续技术突破引领生成式AI自动驾驶范式，重塑自动驾驶底层能力 [2] - 自动驾驶领域对世界模型的探索持续进行，主要方向包括视频生成、OCC生成以及Lidar点云生成或视觉与点云的联合生成 [3] - 许多公司基于开源算法搭建云端或车端世界模型，用于长尾数据生成或闭环仿真与评测，部分公司正尝试基于世界模型直接赋能车端驾驶能力 [4] 世界模型的技术定义与学习挑战 - 世界模型的定义尚不清晰，存在“生成即世界模型”与“生成加重建即世界模型”等不同理解，导致新入行者容易混淆 [5] - 对于初学者而言，理解世界模型并完成数据生成、闭环仿真等后续任务非常困难，部分从业者甚至花费半年时间仍难以有效入门 [6] 自动驾驶世界模型课程概述 - 该课程由自动驾驶之心平台联合工业界算法专家Jason推出，旨在从原理到实战帮助学习者掌握自动驾驶世界模型领域，是国内首个《世界模型与自动驾驶小班课》 [6][8] - 讲师Jason拥有C9本科与QS50博士学位，发表多篇CCF-A/B论文，现任国内TOP主机厂算法专家，主持并完成多项自动驾驶感知与端到端算法的产品量产交付 [8] - 课程为离线视频教学，开课时间为1月1日，预计两个半月结课，提供VIP群答疑及三次线上答疑，答疑服务截止2026年12月31日 [20] 课程大纲与核心内容 - 第一章：世界模型介绍 复盘世界模型与端到端自动驾驶的联系，讲解其发展历史、应用案例、不同技术流派及其在业界解决的问题与所处环节 [11] - 第二章：世界模型的背景知识 讲解世界模型的基础知识，包括场景表征、Transformer、BEV感知等，这些内容是当前世界模型求职面试频率最高的技术关键词 [11][12] - 第三章：通用世界模型探讨 聚焦通用世界模型及近期热门工作，深入讲解Marble、Genie 3、JEPA、导航世界模型、DriveVLA-W0及特斯拉的世界模型模拟器等模型的核心技术与设计理念 [12] - 第四章：基于视频生成的世界模型 聚焦视频生成类算法，讲解Wayve的GAIA-1 & GAIA-2、上交的UniScene、商汤的OpenDWM、中科大的InstaDrive等经典与前沿工作，并以商汤开源的OpenDWM进行实战 [13] - 第五章：基于OCC的世界模型 聚焦OCC生成类算法，涵盖三大论文讲解与一个项目实战，此类方法可扩展至自车轨迹规划，进而实现端到端自动驾驶 [14] - 第六章：世界模型岗位专题 分享世界模型在工业界的应用现状、行业痛点、期望解决的问题以及相关岗位的面试准备与公司关注点 [15] 课程技术细节与学习收获 - 课程背景知识部分将详细讲解Transformer、CLIP、LLaVA、BEV感知、占用网络、扩散模型、闭环仿真中的NeRF与3DGS，以及其他生成式模型如VAE、GAN等 [17] - 基于OCC的世界模型部分将涵盖清华的OccWorld、复旦的OccLLaMA、华科的HERMES以及西交最新的II-World等工作 [18] - 学完本课程后，学习者预期能达到约1年经验的自动驾驶世界模型算法工程师水平，掌握技术进展，对BEV感知、多模态大模型等关键技术有更深刻理解，并可复现II-World、OpenDWM等主流算法框架 [19] 课程安排与参与要求 - 课程章节按计划逐步解锁：第一章于12月10日解锁，第二章于1月1日解锁，第三章于1月20日解锁，第四章于2月4日解锁，第五章于2月24日解锁，第六章于3月1日解锁 [21] - 学习本课程需要自备GPU，推荐算力在RTX 4090及以上，并需具备一定的自动驾驶领域基础、了解Transformer大模型等基本概念、拥有概率论与线性代数基础以及Python和PyTorch编程能力 [19]