世界模型的定义与概念混乱 - 当前“世界模型”已成为AI领域被过度使用的术语，热度高涨但定义模糊，视频生成、机器人、游戏引擎、自动驾驶、3D生成等领域均在使用该概念[2][3] - 李飞飞指出，如今被称为世界模型的系统本质上在解决三个不同问题：渲染世界、模拟世界以及在世界中行动，它们是同一套世界理解能力的不同投影[3] - 世界模型的核心定义是一种交互式预测模型，它根据动作来模拟时空环境，其形式化定义为基于当前状态和控制输入（动作）预测下一个状态，即 P(s(t+1) | s(t), a(t))，这与仅预测下一帧 P(x(t+1) | x(t)) 的标准视频模型有本质区别[6][10] 世界模型的三种功能分类（李飞飞分类法） - 渲染器：输出以像素形式呈现、供人眼观看的观测结果，核心指标是视觉保真度，例如将文字提示转化为电影级镜头的视频模型（如Sora、Veo 3、Kling）或Google的Genie 3，这类模型商业化程度最高，但针对视觉可信度而非物理精确性[14] - 模拟器：输出在几何、物理或动力学上忠实于世界的状态表征，服务于需要精确性的专业人员（如建筑师、游戏开发者）以及用作训练场的强化学习Agent、机器人和自动驾驶系统，其商业覆盖面巨大，例如NVIDIA Omniverse的目标市场估计超万亿美元[15][16] - 规划器：输出行动，给定观测和目标，决定Agent下一步应该做什么，例如视觉-语言-行动模型（VLA）和“世界行动模型”，这是最令人着迷但最不成熟的类别，与快速演进的机器人学习紧密相连，商业押注规模可观[17][18] 世界模型的技术演进与现状 - 技术演进四波浪潮： - Wave 0 (1990-1991)：深度学习前时代，奠基性论文提出构建可预测和模拟世界的RNN，以及将学习、规划和反应统一在单一架构中的愿景，但当时缺乏算力和数据[31] - Wave 1 (2018-2019)：探索世界模型可行性，例如《World Models》论文构建了三组件系统，让Agent在模型内部学习并将策略迁移回真实环境；SimPLe算法在Atari 100k benchmark上证明了样本效率[34][36] - Wave 2 (2020-2022)：追求媲美人类表现，DreamerV2成为首个在55款Atari游戏上达到人类水平的World Model Agent；MuZero则在抽象潜表征中进行规划，在围棋、国际象棋和Atari游戏上取得超越前代的成绩，形成了生成式世界模型与潜式世界模型两大流派[37][40] - Wave 3 (2023-2024)：追求真正的交互性，自动驾驶模型GAIA-1将scaling law扩展至视觉世界模型；DIAMOND证明了实时运行交互式3D世界模型的可能性；Sora和Veo 3将视频生成推向极高质量但仍缺乏完全交互性[42][43] - Wave 4 (2025-至今)：探索在真实世界中行动，Comma.ai在世界模型内部训练驾驶策略并成功部署到消费级产品；Meta的V-JEPA 2在潜空间中规划，仅用62小时机器人数据微调即可零样本完成真实机械臂任务；Google DeepMind的SIMA 2通过微调Gemini在3D游戏环境中充当Agent[44][46][47] 世界模型的核心挑战与数据问题 - 构建世界模型面临的核心挑战是数据，视频数据丰富但缺乏深度和动作标注，而高质量的三维资产和机器人示范数据稀缺[16][22] - 游戏数据被视为一种潜在解决方案，例如Medal平台每年捕获超过10亿个游戏片段，这些数据天然对齐了“观察-预测-行动”循环，提供了数万亿个无信息损失的训练样本，结构上优于需要对人类意图进行推断的真实世界视频[22][23] - 数据可按生成环境（数字vs真实世界）和来源（人类真实行为vs合成数据）分为四象限，Medal的游戏数据属于“数字环境 × 人类真实数据”，而Tesla的人类司机数据属于“真实世界 × 人类真实数据”[23] - 世界模型泛化到新物理环境面临三条独立的迁移曲线挑战：输入模态迁移（如跨不同自由度机器人）、传感器迁移（如需要特定传感器数据）和环境迁移（环境复杂度非线性增长导致性能退化），这些曲线相互作用使得大规模数据收集的资本支出难以合理论证[28][29] 主要参与方、融资与竞争格局 - 大量资金涌入世界模型领域，主要公司融资情况包括：World Labs融资超过10亿美元（估值54亿美元），AMI Labs融资10.3亿美元（估值35亿美元），General Intuition种子轮融资1.337亿美元，Decart融资1亿美元（估值31亿美元），Physical Intelligence融资6亿美元（估值56亿美元），Wayve融资12亿美元（估值86亿美元）[5][48] - Google DeepMind正倾注资源于SIMA、Genie和Veo等项目，其负责人相信世界模型将成为Gemini规划能力的重要组成部分[48] - 行业主要存在两种技术范式竞争： - 潜式世界模型：以MuZero和LeCun的JEPA为代表，在抽象压缩空间中进行预测，避免预测不可预测的视觉细节，AMI Labs是LeCun对此路线的10亿美元赌注，其挑战在于模型评估难、迭代慢、训练难[49] - 生成式世界模型：以General Intuition为主要代表，生成人类可观察、可交互的未来，当视觉细节重要或下游任务不明确时表现更好[49] - 在构建具身AI的路径上，存在不同策略：General Intuition从数字侧（游戏数据）解决泛化；Standard Bots从物理侧（真实世界部署）解决泛化；而通用模型路径则试图收集海量数据以期泛化，但被认为更困难[25] 世界模型与其他AI范式的关系与融合趋势 - 世界模型被认为提供了一条大语言模型无法提供的通向通用智能的路径，因为大语言模型运作在表征领域，缺乏与物理世界的直接交互体验[7] - 视觉-语言-行动模型（VLA）是当前机器人领域的主流务实范式，它复用强大的VLM基础设施，将语言指令翻译为机器人动作，其成功部分源于对已有数万亿美元投资的大语言模型基础设施的复用[50][51] - VLA与世界模型并非直接竞争，而是从不同方向（语言为先 vs 视频/动作为先）切入“在物理世界中行动”的目标，预计未来会收敛并共同成为解决方案[51] - 技术发展趋势显示三种功能类别（渲染器、模拟器、规划器）正在融合，早期证据表明预训练的视频渲染模型可同时作为世界预测和行动预测的骨干网络，World Labs的Marble已能在单一模型中同时输出高斯点云和碰撞网格，模糊了渲染器与模拟器的边界[20] - 从逻辑推演，终点将是一个统一的世界模型基础模型，能根据需要自由切换渲染、模拟和规划的输出模态，但协调不同目标（如视觉美感与物理精确性）仍是核心开放问题[21]