文章核心观点 - 世界模型在动作驱动预测中可能生成看似合理却与实际执行不符的结果，即“脑补”成功结局而非真实预测未来 [2][5] - 普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA和智元的研究人员共同提出WorldOracle评测平台，以真实执行为参照检验世界模型预测能力 [5] - 评测发现两类突出问题：机械臂移动路径预测较准但物体位置和运动仍可能偏离现实；短时表现较好的模型在完整操作序列中可能明显退化 [7] - WorldOracle于10月16日向开发者正式开放，开发者使用评测集提供的初始画面和动作序列生成预测视频并提交平台，由平台与真实执行记录对照评分 [7] 首批成绩单：七种世界模型谁能对上真机 - 研究对包括DreamDojo、Cosmos 3、IRASim、GE-Sim 2.0等七种代表性模型开展评测 [7] - 五个参评模型的机械臂得分均高于物体得分，画面中机械臂即使较好跟随给定动作，物体位置与运动仍可能偏离现实 [14] - IRASim的机械臂得分为78.8，操作物体只有29.1；Cosmos 3的两项得分分别为89.4和45.4 [14] - 同一组机器人遥操作数据上，五个模型的单视角综合分均有所下降 [18] - DreamDojo得分从50.56降至27.08，Cosmos 3从53.99降至26.60，两者下降均接近减半 [18] - GE-Sim 2.0得分从73.86降至63.33，短时与完整长序列得分均为五种模型中最高，长序列下降幅也相对较小 [18] - 模型之间相对次序发生变化：IRASim前30秒得分低于Ctrl-World、DreamDojo和Cosmos 3，但完整序列得分高于这三个模型 [19] WorldOracle的出题与判分机制 - 评测从预先采集的真实操作记录出发，向模型提供初始画面和动作序列，由模型生成预测视频，再与同一组动作对应的真实执行进行比较 [22] - 模型需要预测真实操作中的抓空、掉落和洒水，即便现实操作失败，如果准确预测这次失败也是正确的预测 [23] - 失败案例成为重要测试样本，检验模型是否遵循给定动作及其后果，还是把操作过程补成常见成功版本 [24] - 评测覆盖智元G2、YAM两种机器人本体，以及第一视角人手操作场景 [24] - 四类任务包括水果抓取、挂毛巾、倒水和开合抽屉，分别涉及刚体、柔性物体、流体和关节物体交互 [24] - 人手场景面向能够接收手部动作输入的世界模型，检验模型能否根据记录的手部姿态序列预测后续物体变化和交互结果 [24] - 具备相应第一视角世界建模能力的模型在人手场景下接受零样本评测，不使用平台提供的额外人手适配数据 [24] - 数据包含两类来源：一类由人工完成任务采集，包括机器人遥操作轨迹和人类手部操作轨迹；另一类是机器人策略自主执行轨迹 [27] - 机器人自主执行时可能出现不同于人工操作的停顿、抖动和动作修正，纳入这类数据有助于检验世界模型面对不同来源动作能否仍然预测准确 [28] - WorldOracle是唯一同时覆盖动作序列输入、真实执行数据、失败案例、长时序交互、多本体、多视角及策略自主执行轨迹的具身世界模型评测基准 [29] 评测赛道与指标体系 - 平台设置三条赛道：WorldOracle-Core评估人工采集轨迹前30秒的预测表现；WorldOracle-Policy评估模型对机器人策略自主执行完整过程的预测表现；WorldOracle-Long评估人工采集的完整长序列中的持续预测表现 [31] - WorldOracle用四项互补指标检查预测 [32] - 物理状态正确性：检查每次交互结束时的物体位置、抓取状态、液体转移等是否与真实结果相符 [39] - 交互空间对齐度：检查物体、机械臂或人手的位置及移动路径是否与真实过程一致 [39] - 关键交互区域保真度：聚焦物体、夹爪和人手等区域，综合像素、感知与语义相似度，减少大面积背景对评分的干扰 [39] - 多视角动作一致性：针对支持多视角输出的模型，检查各同步相机画面中的机器人运动是否与真实执行对齐 [39] - 前三项指标等权平均形成单视角综合分；多视角评测加入第四项后再等权平均，分项成绩同时保留 [34] - 研究邀请119名参与者比较128对预测视频，发现四项指标对预测优劣的判断与人类选择的一致率为88.1%—93.2% [35] - 该评测衡量的是预测与一次真实执行记录的匹配程度，对于流体、柔性物体和随机接触，同样动作可能产生多种合理结果，单次参照尚不能完整描述这些可能性 [35] - 不同本体的训练支持不相同：G2使用专门采集的训练集，YAM使用公开数据，人手场景采用零样本评测，三个场景的成绩不宜直接用于判断本体难度或跨本体泛化能力 [35] 平台开放与模型迭代反馈 - WorldOracle支持开放权重与闭源模型参与，开发者完成注册和审核后可根据模型支持的本体或操作场景选择赛道，按提交指南生成并上传预测视频，查看综合分、分项成绩及对比结果 [37] - 对于模型迭代，反馈可以落到具体问题：一次改进是否让物体运动更准确、是否减少了对失败操作的误判、预测时间拉长后提升是否仍然成立 [38] - 世界模型生成的未来是否可靠需要放到真实执行面前检验，WorldOracle将这种检验转化为统一的任务、数据和评分方法，为开发者比较模型、识别误差和验证改进提供依据 [38]