Workflow
商汤OpenDWM
icon
搜索文档
最近咨询世界模型岗位的同学越来越多了......
自动驾驶之心· 2026-01-22 08:51
行业人才需求与招聘趋势 - 算法岗位春招及跳槽方向集中在世界模型(生成+重建)、端到端、VLA三大领域,需求旺盛[2] - 端到端岗位招聘要求高,更青睐有实际量产经验的人才[2] - VLA岗位需要求职者同时具备大模型和端到端背景[2] - 世界模型方向在2025年因特斯拉在ICCV的分享而受到行业关注并开始爆发,当前是入局的合适时机[2] 课程核心内容与结构 - 课程由自动驾驶之心联合工业界专家开设,聚焦通用世界模型、视频生成、OCC生成等算法,涵盖特斯拉世界模型及李飞飞团队Marble等案例[2] - 课程大纲分为六章:世界模型介绍、背景知识、通用世界模型探讨、基于视频生成的世界模型、基于OCC的世界模型、世界模型岗位专题[5] - 第一章概述自动驾驶世界模型,复盘其与端到端自动驾驶的联系,讲解发展历史、应用案例、不同流派(纯仿真、仿真+Planning、生成传感器输入、生成感知结果)及其解决的问题和环节,并介绍学术界与工业界动态、相关数据集与评测[7] - 第二章讲解世界模型的基础知识,包括场景表征、Transformer、BEV感知等,为后续学习奠定基础,这些内容是当前求职面试频率最高的技术关键词[7][8] - 第三章探讨通用世界模型及近期热门工作,详细讲解李飞飞团队的Marble、DeepMind的Genie 3、Meta的JEPA、导航世界模型,以及VLA+世界模型算法DriveVLA-W0和特斯拉ICCV分享的世界模型模拟器[8] - 第四章聚焦视频生成类世界模型算法,从Wayve的GAIA-1 & GAIA-2讲起,扩展至上交的UniScene、商汤的OpenDWM、中科大的InstaDrive,并以商汤开源的OpenDWM进行实战[9] - 第五章聚焦OCC生成类世界模型,讲解三大论文并进行一个项目实战,此类方法可扩展至自车轨迹规划以实现端到端[10] - 第六章基于前五章算法基础,分享世界模型在工业界的应用现状、行业痛点、期望解决的问题,以及相关岗位的面试准备和公司关注点[11] 课程技术深度与覆盖范围 - 课程背景知识部分将复习Transformer并扩展至视觉Transformer,讲解CLIP和LLAVA,详细介绍BEV感知和占用网络,讲解扩散模型理论,梳理闭环仿真、NeRF和3DGS的核心概念,并讲解其他生成式模型如VAE、GAN及Next Token Prediction[13] - 课程将涵盖清华的OccWorld、复旦的OccLLaMA、华科ICCV'25的HERMES、西交最新的II-World等具体研究工作[14] - 课程实战部分选取商汤开源的OpenDWM和II-World等主流算法框架进行复现[9][14][15] 课程目标与学员收获 - 课程是首个面向端到端自动驾驶的进阶实战教程,旨在推动端到端在工业界的落地,帮助学员真正理解端到端[12] - 期望学员学完后能达到1年左右世界模型自动驾驶算法工程师水平[15] - 学员将掌握世界模型技术进展,涵盖视频生成、OCC生成等方法[15] - 学员将对BEV感知、多模态大模型、3DGS、扩散模型等关键技术有更深刻了解[15] - 学员能够复现II-World、OpenDWM等主流算法框架,并将所学应用到项目中,学会设计自己的世界模型[15] - 课程对实习、校招、社招均有助益[15] 讲师背景与课程安排 - 讲师Jason拥有C9本科和QS50 PhD学历,已发表2篇CCF-A论文及若干CCF-B论文,现任国内TOP主机厂算法专家,从事端到端、大模型、世界模型等前沿算法的预研和量产,并已主持完成多项自动驾驶感知和端到端算法的产品量产交付[4] - 课程于1月1日开课,预计两个半月结课,采用离线视频教学,提供VIP群内答疑及三次线上答疑,答疑服务截止2026年12月31日[16] - 各章节解锁时间安排如下:第一章于12月10日解锁,第二章于1月1日解锁,第三章于1月20日解锁,第四章于2月4日解锁,第五章于2月24日解锁,第六章于3月1日解锁[17] 学员入学要求 - 学员需自备GPU,推荐算力在4090及以上[15] - 需具备一定的自动驾驶领域基础,熟悉自动驾驶基本模块[15] - 需了解transformer大模型、扩散模型、BEV感知等技术的基本概念[15] - 需具备一定的概率论和线性代数基础,熟悉常用数学运算[15] - 需具备一定的Python和PyTorch语言基础[15]
世界模型工作正在呈现爆发式增长
自动驾驶之心· 2025-12-20 10:16
文章核心观点 - 世界模型并非端到端自动驾驶本身,而是实现端到端自动驾驶的一种途径,当前行业研究主要聚焦于生成和重建两大领域,并广泛应用于闭环仿真以应对Corner Case成本过高的问题 [2] - 行业正经历风格转换,世界模型相关研究呈现爆发式增长,为应对此趋势,推出了聚焦通用世界模型、视频生成、OCC生成等算法的进阶实战课程 [2] 课程内容与结构 - **第一章:世界模型介绍** 涵盖世界模型与端到端自动驾驶的联系、发展历史、应用案例,并介绍纯仿真、仿真+规划、生成传感器输入、生成感知结果等不同流派及其在行业中的应用环节和解决的问题 [5] - **第二章:世界模型的背景知识** 讲解世界模型的基础技术栈,包括场景表征、Transformer、BEV感知等,为后续学习奠定基础,这些内容是当前世界模型求职面试的高频技术关键词 [5][6] - **第三章:通用世界模型探讨** 聚焦通用世界模型及近期热门工作,详细解析李飞飞团队Marble、DeepMind的Genie 3、Meta的JEPA、导航世界模型,以及VLA+世界模型算法DriveVLA-W0和特斯拉ICCV分享的世界模型模拟器等模型的核心技术与设计理念 [6] - **第四章:基于视频生成的世界模型** 聚焦视频生成类世界模型算法,讲解Wayve的GAIA-1 & GAIA-2、上海交大CVR'25的UniScene、商汤的OpenDWM、中科大ICCV'25的InstaDrive等经典与前沿工作,并以商汤开源的OpenDWM进行实战展开 [7] - **第五章:基于OCC的世界模型** 聚焦OCC生成类世界模型算法,讲解三大论文并进行一个项目实战,此类方法可扩展至自车轨迹规划,进而实现端到端自动驾驶 [8] - **第六章:世界模型岗位专题** 基于前五章算法基础,分享工业界应用经验,探讨行业痛点、世界模型需解决的问题,以及相关岗位面试准备与公司关注重点 [9] 课程技术覆盖与学习目标 - **技术覆盖** 课程内容涉及Transformer、视觉Transformer、CLIP、LLaVA、BEV感知、占用网络、扩散模型、闭环仿真、NeRF、3DGS、VAE、GAN、Next Token Prediction等多种生成式模型与关键技术 [11] - **核心算法案例** 课程涵盖清华OccWorld、复旦OccLLaMA、华科ICCV'25的HERMES、西交II-World等具体算法工作 [12] - **学习目标** 学员学完后预期能达到约1年经验的世界模型自动驾驶算法工程师水平,掌握世界模型技术进展,深刻理解BEV感知、多模态大模型等关键技术,能够复现II-World、OpenDWM等主流算法框架,并应用于实际项目设计 [13] 课程安排与面向人群 - **课程安排** 课程于1月1日开课,预计两个半月结课,采用离线视频教学,辅以VIP群答疑及三次线上答疑,答疑服务截止2026年12月31日,各章节按计划从12月10日至次年3月1日逐步解锁 [14][15] - **面向人群** 课程面向具备一定自动驾驶领域基础、熟悉Transformer大模型、扩散模型、BEV感知等基本概念,拥有概率论与线性代数基础,以及Python和PyTorch编程能力的学员,学习需自备算力在4090及以上的GPU [13]