文章核心观点 - 多模态大模型需跨领域跨任务完成空间关系理解、具身动作规划、视频时序理解、物体掉落判断等任务，各领域方法难以迁移，团队提出这些失败可能都源于“世界建模”这一底层能力的缺失 [1] - 研究将世界建模收窄定义为状态转移估计 p(s′|s,a)，并证明它是可独立定义、独立测量、可学会且能跨任务复用的底层能力，而非各领域表象的叠加 [5][17] - 训练世界建模应按“推理操作”而非任务、领域、动作或场景类型来组织数据，学什么比看什么更重要 [21][26] 一、世界建模的定义 - 世界模型定义被收窄到最核心的“状态转移”：当前状态s、动作a、之后状态s′，即对p(s′|s,a)的估计 [5] - 给定一次转移(s,a,s′)中的部分元素推断未看到部分：知s和a求s′为预测动作结果，知s和s′求a为判断发生了什么，换a问结果为反事实，排列中间状态为时序 [5] - 空间、具身、物理、时序等多类任务在该结构下统一为对同一三元组做不同查询，认知科学中的正向模型、逆向模型及婴儿核心物理知识掌握均围绕“动作怎样改变世界”组织 [5] 二、世界建模的可控实验设计 - 真实视频无法实现同一场景换动作、同一动作下受控扰动场景的对照，团队将视频生成模型作为转移引擎：给定初始帧和动作描述生成后续事件，从同一帧换多个动作得到有真实对照的反事实轨迹 [9] - 场景、动作、推理操作成为可独立调节的实验变量，例如20类场景、5类动作、8种推理操作可独立取值 [9] - 每道题错误选项标注错误类型（如“左右反转”“违背重力”“物体朝向被扰动”），分析可细化到“错在哪”，形成WOVEN共36K道题的训练和测评基座 [9] 三、现有模型的能力缺口 - 测试38个前沿模型，最强GPT-5.4答对65.8%，人类92.3%，差距形状在所有模型家族里一致 [12] - “时序相邻判断”类别最弱，停在25%–28%接近四选一随机水平，而同一批模型做时序排序能到63%；外观扰动（换颜色）基本不受影响，几何扰动（换位置或朝向）成绩掉到30% [12] - 规模解决不了问题：Qwen2.5-VL从3B到72B，外观鲁棒性每十倍参数涨31个点，几何鲁棒性只涨9个点；同一7B模型外观扰动下50.5%、几何扰动下23.5% [12] - 现成视频先验不够：对V-JEPA 2和一个视频生成模型做最优读出最高仅47.7% [12] - 模型随规模掌握物理原则的顺序与婴儿习得顺序一致：先重力和惯性，再内聚、恒存和容纳，再支撑和固体性，最后碰撞；38个模型在碰撞上平均31.4%始终没过线 [12] - 开源模型答错旋转题时一半以上选镜像方向，共享的失败分布模式预示这是训练问题而非某家模型的癖性 [12][13] 四、世界建模的可学习性与下游迁移 - 在WOVEN上后训练（SFT+RL）多个大小和家族模型，Qwen2.5-VL-3B域内准确率从26.4%到89.3%，没见过的场景上88.2%，接近人类92.3%；7B、32B和Gemma 3上一样成立 [15] - 学习效率高：同一Qwen3.5-4B底座用约7小时生成视频做后训练，在3DSRBench上增益+6.7，超过用12.5万小时真实视频做mid-training的Orca-4B（+4.0） [15] - 全集训练提升12个独立外部测评基准，横跨物理理解、时序理解、具身操作、空间推理等领域；按能提升同一世界建模能力的不同受控子集分别迁移结果取并集，被提升的外部基准数量高达22个，尽管每个受控子集只有2000条数据；zero-shot正向迁移最高可达27.3个点 [15] 五、底层能力与任务效应堆叠的区分 - 第一条标准：不同形式监督源能练出同一个能力——11个受控子集每一个都提升了它从没训练过的动作类型（如只用相机运动数据训练，物体操作题+39.8、导航题+26.9） [17] - 训练后同一次转移的正向题和逆向题开始“同对同错”，逆向题能从模型自己预测结果反推出动作的比例从19%升到45%–94%，说明模型学的是统一的“状态–动作–结果”映射 [17] - 第二条标准：下游收益确实来自该能力——11个子集在26个基准上的迁移曲线两两全部正相关，一个子集把世界建模能力提升得越多其在外部基准上平均增益越大，r=0.86 [18] - 4个静态感知和通用视频QA基准在任何训练下都不涨，排除“模型整体变强” [18] - 错误规则对照实验：构造动作与结果对应关系固定但错误的“虚拟世界”，保持其他条件不变做相同训练，模型在该虚拟测试集上学得很好（85%–92%），但下游基准一个都不涨，证明下游涨分依赖学到正确的转移规律 [18] - 因果干预：固定训练预算，用WOVEN数据替代下游任务自身训练数据的30%–50%，对应下游测评准确率保持相当且高于单纯删掉这部分数据的对照，说明转移监督顶替了下游任务原本要从自己数据里学的那部分 [18] 六、训练配方：学什么比看什么重要 - 直觉答案“挑像的”（场景像、动作像、领域像）被实验否定：去掉共同迁移成分后，教同一种推理操作的子集之间下游收益相关性+0.32，远高于只共享动作类型的子集之间（−0.22），后者与什么都不共享的子集（−0.23）无区别 [21] - 转移里“做了什么动作”不决定数据会帮到谁，“要对转移元组做什么推理”才决定 [22] - 其他结论：要鲁棒性优先选视觉状态变化更大的监督；时序任务和主体驱动任务要直接监督；主动动作（agent driven）与被动动作（physics driven）之间无明显迁移；静态感知等状态转移之外的能力无法从转移监督中获益，需另给监督 [22] - 前瞻性验证：按配方配好训练数据，在推导配方时完全没用过的7个基准（MMSI-Bench、VLM4D、PhysBench、SPAR-Bench、MVBench、IntPhys 2、CameraBench）上测试，使用多达8个随机种子，五组比较方向全部与配方预测一致；主体动作类问题上按配方配的混合显著更高（p≤0.03），被动物理类问题上被动物理为主的混合反而更好 [22] 七、方法论与行业启示 - 研究流程：先拆开世界建模变量使各元素可独立变化以提供干预实验基础设施；再用跨域测试、错误规则对照和因果干预排除表面相关性；用严谨因果干预和统计分析隔离“底层能力”与“效果堆叠”；最后对训练配方在未见任务上做前瞻验证，每一步有自己的证据 [25] - 对训练系统而言，世界建模可按推理操作组织，而非按任务、领域、动作或场景类型堆叠，这对更高效训练更智能的系统带来启发 [26] - 可迁移不等于无条件迁移：时序任务、主体驱动任务、静态感知是转移监督难以直接帮上或帮得有限的地方，配方是能指导数据选择的具体规则而非一句“合成数据有用” [26]