点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 世界模型的愿景是理解并改变物理世界，核心在于以持续技术突破引领生成式AI自动驾驶范式，重塑自动驾驶底层能力。 2025年6月yann lecun发布V-JEPA 2，2025年8月DeepMind发布Genie 3，2025年11月李飞飞发布Marble。 而在自动驾驶领域，关于世界模型的探索也一直没有停止。最常见的方向是 视频生成 ，也是学术界和工业界探索最多的领域，像wayve的GAIA-1/2/3，上交 CVPR'25的工作UniScene等等。其次是 OCC生成 ，比较经典的有OccWorld、OccLLaMA，还有租金西交最新的SOTA工作II-World。还有一个领域是做 Lidar点云生 成 ，或者视觉和点云的联合生成，比如LiDARGen、LiDARCrafter等等。 不少公司基于这些开源算法搭建自己的云端/车端世界模型，用于长尾数据生成或者闭环仿真/评测。一些公司也在尝试基于世界模型直接赋能车端驾驶能力。 但世界模型的定义仍然很模糊，生成 = 世界模型？ 生成 + 重建 = 世界模型。 对 ...

文章核心观点 - 文章介绍了宁波东方理工大学金鑫教授团队在空间智能与世界模型领域的研究进展，其核心思路是采用“混合”路径构建世界模型，即结合明确的物理规则知识与数据驱动方法，并率先应用于工业制造等产业场景以实现技术验证与落地 [3][4][5] 空间智能（世界模型）的起源与概念 - 空间智能概念在SLAM技术时期已被讨论，2024年由斯坦福大学李飞飞教授拓展至与物理世界的交互、感知和理解 [8] - 世界模型技术近期取得显著进步，例如李飞飞团队发布的Marble 3D世界模型和谷歌DeepMind发布的Genie 3，后者在写实性、一致性及物理正确性上达到更高水平 [9] - 世界模型有望成为继数据增强、数据合成之后，为人工智能训练提供高效路径的新选择 [9] 空间智能的技术框架 - 团队将空间智能或世界模型划分为三个部分：空间感知（基础3D建模与物理定律嵌入）、空间交互（支持智能体与环境及多智能体间互动）、空间的理解泛化与生成（基于充分理解衍生生成能力） [10][12][13][14] - 整体工作细分为两个方向：空间构建（搭建仿真环境）与智能体训练（在环境中训练AI），两者可形成不断优化迭代的闭环 [15][18] 核心研究成果：自动驾驶场景生成 - **UniScene**：团队提出的专注于驾驶场景生成的工作，已被CVPR接收，后续有V2等版本 [20] - **生成动机**：由于合规、隐私及车队规模限制，真实数据难以覆盖足够多的“corner case”危险场景，需通过生成式方法合成逼真有价值的场景数据 [22] - **技术路径**：采用以Occupancy（占据栅格）为中心的生成方案，因其蕴含丰富语义与必要几何信息，是连接场景理解与建模的有效“桥梁” [27][32] - **生成流程**：以简单的鸟瞰图布局为输入，首先生成语义Occupancy，再以此为中心分别衍生生成激光雷达点云和多视角视频，是一个两阶段的解耦过程 [34] - **进展与产业合作**：UniScene V2版本在NuPlan数据集上扩展了数据量，新增深度图和语义分割模态，并能根据车辆传感器位置生成对应视角数据 [37][40]；该版本在GitHub上线不到一周获得数百个star（后超过2000个） [41]；正与理想汽车合作，测试生成器对带有镜头畸变数据的泛化能力，以低成本支持其自动驾驶算法迭代 [41] 核心研究成果：规划与机器人场景生成 - **OmniNWM**：团队引入闭环的“规划-生成”串联机制，将规划的轨迹作为条件输入，预测执行该轨迹后未来场景的变化，可称为“万能的驾驶导航世界模型” [42][44] - **模型能力**：需同时预测全景RGB视频、语义分割、深度图、3D结构及未来规划轨迹，重点在于状态、动作及闭环奖励三个维度的扩展 [45][50] - **技术迁移**：将相同方法论迁移至机器人领域，应用于具身智能场景进行数据合成，能以Occupancy为桥梁生成机器人视频，处理软体、绳体等物体的数据合成，并与主流仿真器兼容实现批量并行生成 [45] 核心研究成果：机器人数据与训练模型 - **InterVLA数据集**：为补充机器人第一人称视角数据缺失，团队构建了包含约3.9千个序列的新基准数据集，包含第一人称视角视频、第三人称视角视频及动作捕捉数据 [46][49][57] - **DreamVLA模型**：针对“抓放”等任务，提出将大语言模型中的“思维链”思想引入视觉-语言-动作模型，让模型在输出最终动作前，先输出“世界嵌入”或“世界知识”等中间产物，形成多模态推理链条 [63][71][73] - **模型效果**：相比于Open-VLA等方案，DreamVLA泛化性更好，并能实现更快、更高效的收敛 [75] - **方位基础模型**：通过模块化方案赋予机器人“方位感知”能力，使其能像人一样从合适方位抓取物体（如抓瓶身而非瓶盖） [76][80] - **解耦世界模型**：将“解耦学习”嵌入世界模型，提取对任务至关重要的环境关键因子，排除非任务相关干扰，从而提升训练效率与模型鲁棒性 [81][83] 研究背景与团队发展 - 研究重点自2024年初开始聚焦世界模型与空间智能，标志着从处理2D视觉信号转向理解3D、4D等高维信号，旨在让AI获得对物理空间的认知能力 [85] - 团队在2025年NeurIPS会议上有两篇合作论文受到广泛关注 [85] - 团队学生培养取得初步成效，2024年有一位博士获得国家奖学金，2025年增加至两位 [91] - 招生最看重学生的自驱力与对科研的热情，并通过实习期进行双向考核 [91][92] 产业应用与场景选择 - 基于宁波强大的制造业背景（拥有104家国家级制造业单项冠军企业，数量全国第一），团队优先选择工业场景构建“工厂世界模型”，与奥克斯空调、均胜电子、吉利汽车等当地龙头企业紧密合作 [93] - 与专注于探索底层原理的知名团队（如LeCun团队、李飞飞团队）不同，该团队采取“两条腿走路”策略，既探索前沿技术，又聚焦有特色的应用场景 [94] 世界模型的构建方法与挑战 - **构建数据**：分为静态数据（物体级静态资产）和动态数据（RGB视频、激光点云、动作捕捉数据），两者均为必需 [95][96] - **构建步骤**：采用自上而下的技术路径，先定义物理规则，再叠加动态数据，最后以静态数据打底，涉及数据采集、处理、合成与模型训练 [97] - **兴起原因**：AIGC技术使得通过生成方式快速创建物理正确、视觉真实的场景成为可能，在效率与成本上相比传统手工建模有量级提升 [97] - **最大挑战**：成本最高的部分是前期静态资产和动态场景数据的创建与采集；技术难度最大的在于将软体、弹性体、流体等第一性原理和物理规则有效嵌入模型中 [98] 技术路径讨论与行业观点 - **关于Sora等视频生成模型**：认为其是否为世界模型取决于应用场景，在游戏、娱乐等内容生成领域有价值，但在需要精细空间感知与动作策略的机器人或自动驾驶领域存在局限性 [99] - **载体差异**：当前趋势是采用数据驱动的端到端模式（如VLA模型），倾向于为不同形态的智能体（汽车、机械臂）构建统一的世界模型服务，避免重复造轮子 [99][100] - **技术路径选择**：团队倾向于“混合”路径，结合端到端黑盒方法的能力与显性、可解释的组件 [101] - **学术界价值**：面对企业界强大的大模型路径，不必焦虑于快速商业变现，技术持续发展总需要新的突破，许多奠基性技术最初源于高校 [102] - **物理规律掌握**：关键在于构建高度物理真实的世界模型本身，若能真实还原材质物理属性，仿真环境中训练出的智能体行为结果会与真实世界一致 [102][103] - **实现方法**：采用知识库与数据库结合的混合路径，对明确规则（如碰撞检测、摩擦力）进行知识嵌入，对复杂现象（如流体运动）则采用数据驱动方法 [104][105]