英伟达、百度、宇树…32个世界模型揭开物理AI底牌
36氪·2026-11-17 18:05

文章核心观点 - 物理AI需要在现实环境中完成感知、决策与行动,人形机器人、自动驾驶汽车、机械臂和无人机是主要应用载体,重量、惯性、摩擦和碰撞直接影响任务能否完成 [1] - 世界模型可理解为系统内部通过数据学习的模拟器,接收当前观察并结合动作等条件推演未来可能发生的情况,为规划、训练和评测提供依据 [1] - 世界模型预测输出形式多样,包括生成未来视频、构建可探索三维场景、在压缩抽象特征中表示环境变化,研究者相应考察画面与空间一致性、动作造成的变化及预测对决策的帮助 [1] - 世界模型还能提供训练经验,机器人可在模型生成环境中反复试验,部分团队将未来预测与动作生成联合训练 [2] - 当前能力仍有限制:物体可能在交互中变形或消失,碰撞和滑动可能模拟失准,连续预测会积累误差,应用价值需结合真实任务帮助、适用范围和运行成本来看 [2] - 2026年11月3日百度首次披露Apollo World,一周前谷歌DeepMind发布Genie 4,世界模型研究正在机器人控制、自动驾驶仿真和交互环境生成等方向分别展开 [2] - 行业综合技术代表性、公开实验、应用进展与生态影响选取32个模型及研究体系,资料截至2026年11月4日 [2] 综合型世界模型体系 - 英伟达2026年6月1日发布Cosmos 3,采用混合Transformer架构,将视觉推理、世界生成与动作预测结合,可处理和生成文字、图像、视频、环境声音及动作信息 [3] - Cosmos 3面向机器人、自动驾驶和工业视觉开发者,既可预测环境变化,也可生成训练与评测数据,并作为世界动作模型的基础,已提供Super、Nano等版本及开放模型资源 [3] - 谷歌DeepMind于2026年10月27日发布Genie 4,用户可在生成过程中移动视角、改变天气、加入人物和物体,模型继续推演场景变化并同步生成环境声音、音乐和对话 [4] - Genie 4引入Gemini系列能力改善画面、行为和场景连续性,用途包括机器人与智能体训练环境及交互内容创作,发布时以研究预览形式向受信任测试者开放 [4] - Meta于2025年6月发布V-JEPA 2,2026年3月发布V-JEPA 2.1,将视频编码成抽象特征学习物体运动和场景变化,利用预测结果辅助规划,减少对逐像素生成画面的依赖 [5] - V-JEPA 2先通过超过100万小时视频等数据预训练,再加入机器人动作数据开展抓取与放置实验;2.1版本着重改善局部空间特征、深度理解和时间一致性,并用于机械臂规划与导航研究,代码和模型已公开 [6] - World Labs于2026年9月1日发布Atlas,原生处理文字、图像、视频与三维信息,将输入组织进共享空间上下文,用于生成新视角、重建场景和模拟时空变化 [7] - Atlas可根据一张或多张图片生成指定相机位置看到的画面,也能输出显式三维结果,公司展示了最长约一分钟、1440p的相机控制视频及面向机器人的真实场景转仿真流程,发布时开放早期体验申请 [7] - Odyssey于2026年10月8日发布Odyssey-3,采用自回归扩散Transformer,根据此前观察和最新输入预测物体运动、相互作用及场景演化 [8] - Odyssey-3展示了机械臂操作、人形机器人和车辆控制实验,例如在冻结世界模型主干情况下用20小时驾驶数据训练驾驶策略,在印度真实道路上开展闭环实验,目前提供研究预览 [8] - 流形空间于2026年2月发布WorldScape,将空间导航和物体操作纳入同一交互生成过程,引入几何约束和记忆机制改善场景结构漂移与历史物体外观变化问题 [21] - 流形空间2026年7月公布WorldScape v2和Policy v2,扩展不同动作控制方式并加入面向机器人长程任务的记忆与上下文学习能力,10月公布R²SI机器人自我改进研究 [21] - 智源研究院2026年6月公布悟界·Physis-v0.1,提出将视频、RGB-D、三维点云和力触反馈等信息编码为统一隐空间物理状态,用于预测后续物理变化,面向具身智能、工业、物理仿真与科学研究等场景 [35] - 悟界·Physis-v0.1目前披露重点是模型架构与应用方向,应与已有完整公开代码、权重和任务实验的项目区分成熟度 [35] 机器人操作世界模型 - 1X于2026年1月公开集成进NEO机器人的1XWM,系统接收文字指令与起始画面生成执行任务的未来视频,再通过逆动力学模型将画面变化转换成机器人动作轨迹 [14] - 1XWM训练结合互联网视频、第一视角人类数据和NEO数据,1月披露版本中世界模型生成5秒视频需要约11秒、动作提取另需约1秒,反应速度仍是改进重点;2026年6月1X宣布成立世界模型实验室 [14] - 英伟达2026年2月公开DreamDojo,基于Cosmos-Predict2.5使用约4.47万小时人类交互视频预训练,再通过机器人数据适配,给定机器人动作预测相应环境变化 [15] - DreamDojo通过蒸馏提升推理速度,用于交互遥操作、策略评估和基于模型的规划,更关注动作能否引起合理物体变化及能否处理训练数据未覆盖的物体和交互,项目已公开代码和模型资源 [15] - 智元Genie Envisioner 2.0的核心成果GE-Sim 2.0是面向机器人操作的闭环视频世界模拟器,项目2026年4月上线、5月公开技术报告、6月发布代码和模型、10月更新评测支持 [18] - GE-Sim 2.0使用涵盖遥操作、机器人策略部署与物体交互的数据训练,外部策略给出动作后模拟器生成新环境观测供策略继续决策,公开示例包括头部与双腕视角下的任务成功和失败过程,并支持接入外部奖励模型 [18] - 生数科技2026年公开的Motus2面向灵巧操作,用同一套共享参数提供策略提出候选动作、模拟器预测视觉变化、评价器判断结果三种接口,再将反馈用于策略改进 [19] - Motus2披露的人类数据原始录制规模约13万小时,训练从单目第一视角视频扩展至同步双目数据再适配机器人轨迹,还研究长时记忆和触觉反馈,在配有双臂、双灵巧手等硬件平台上开展实验 [20] - 高德DreamX-Phi 1.0是2026年公开的机器人操作世界模型,基于Wan2.2-TI2V-5B构建,输入初始观察与指定机器人动作序列后生成对应未来视频,重点保持机器人运动、场景几何与被操作物体状态一致 [22] - DreamX-Phi 1.0把机械臂末端位姿、夹爪状态等信号加入动作条件,利用交互相关训练改善物体变化,并通过少步生成提升推理效率,团队报告了WorldArena 2.0相关赛道成绩 [22] - Ctrl-World于2025年10月公开并入选ICLR 2026,联合预测外部摄像头与腕部摄像头画面,通过逐帧动作条件控制未来变化并检索历史记忆维持多步交互一致性 [23] - Ctrl-World团队用DROID数据训练,在抓取、叠毛巾、开关抽屉等任务中比较模型仿真与真实机器人表现,论文报告特定新指令、新物体任务成功率由38.7%升至83.4%,模型对碰撞、滑动等精细动态的模拟仍有误差 [23] - 宇树2025年公开的UnifoLM-WMA-0是面向多类机器人本体的世界模型与动作框架,核心世界模型学习机器人与环境之间的物理交互,提供仿真和决策两种工作模式 [28] - UnifoLM-WMA-0在仿真模式下根据动作生成未来交互过程提供合成训练数据,在决策模式下连接动作模块利用未来预测辅助操作,项目公开代码、模型及相关数据,实验覆盖宇树Z1机械臂、双臂平台和G1机器人 [28] - 蚂蚁灵波LingBot-VA将未来视觉预测与动作执行联合训练直接服务机器人操作,首代于2026年1月公开代码和权重,7月公布LingBot-VA 2.0研究 [29] - LingBot-VA 2.0从面向具身控制的因果预训练出发,将视觉状态与动作放入共享表征空间,结合稀疏混合专家架构和异步执行,一边预测未来一边根据最新观察修正后续控制,公开实验涉及长程操作、精细操作与少样本任务适配 [29] - 极佳视界GigaWorld-1面向机器人策略评测,2026年7月公开技术报告及部分代码、模型资源,训练数据约1.3万小时,结合互联网与物理视频、公开机器人数据、第一视角人类交互和自采示范 [30] - GigaWorld-1研究重点包括长时序动作一致性、多视角轨迹对齐及模型中的策略表现与实际表现能否对应,提供1.3B、5B等模型规格并配套评测和数据处理工具 [30] - 英伟达2026年2月公开DreamZero,以大规模预训练视频模型为基础在同一生成过程中联合预测未来视频与连续动作,基于Wan 2.1的14B视频主干构建,公开DROID、AgiBot相关模型及适配代码 [31] - DreamZero团队展示了使用约30分钟交互数据适配新机器人本体的实验,与主要充当模拟器的DreamDojo用途不同,直接研究世界预测与机器人策略的联合学习 [31] - 小米2026年7月公开Robotics-U0,统一处理图像生成、编辑、多视角具身场景生成、具身迁移和任务视频生成,关注机器人视角之间的空间一致性及更换物体、环境或本体后的交互过程 [32] - Robotics-U0论文报告在指定真实机器人分布外操作任务中,使用相关数据改进的π0.5策略成功率由36.9%提高至63.2%,项目已公开模型与推理资源,9月进一步开放训练代码 [32] - 银河通用LDA-1B于2026年2月公开并入选RSS 2026,将环境动态、视觉预测和策略学习结合,利用超过3万小时的人类与机器人交互数据训练 [33] - LDA-1B在DINO视觉特征构成的隐空间中预测未来变化,减少对像素外观的重复建模,并为不同质量、不同来源的数据安排相应学习任务,团队展示了夹爪操作、灵巧手操作和长程任务实验,代码和模型检查点已公开 [34] - 字节跳动IRASim相关工作入选ICCV 2025,给定历史观察与机器人动作轨迹生成后续操作视频,重点刻画机械臂动作、接触过程和物体变化之间的对应关系 [38] - IRASim通过逐帧动作条件加强控制信号与画面的对齐,支持自回归生成多段连续交互,团队用它研究策略评测和基于模型的规划,也展示通过键盘或VR设备控制虚拟机械臂的交互形式,项目已公开论文与代码 [38] - 英伟达2025年5月公开DreamGen,先适配目标机器人,再根据起始画面与文字指令生成任务视频并转换为动作数据用于训练策略 [39] - DreamGen团队展示仅有单一抓放任务遥操作数据时,利用生成数据让人形机器人学习22种新行为的实验,并提出DreamGen Bench衡量指令遵循与物理合理性 [39] 自动驾驶世界模型 - Waymo于2026年2月6日公开Waymo World Model,以Genie 3为基础针对自动驾驶场景适配,能够同时生成摄像头画面和激光雷达数据 [10] - Waymo World Model工程师可调整驾驶动作、道路布局及文字指令,模拟逆行车辆、积水、极端天气等少见场景,也可从同一段真实记录出发测试另一条行驶路线,服务于Waymo自动驾驶仿真体系 [10] - Wayve于2026年8月3日发布GAIA-4,从真实传感器记录构建仿真起点,将驾驶模型接入闭环,车辆选择刹车或转向后随后接收到的视角和传感器信息会相应变化 [11] - GAIA-4支持保留其他交通参与者原始轨迹的评测方式以复现安全关键事件,也能启用会对自车行为作出反应的交通参与者研究并线等互动场景,Wayve将其用于分析安全员接管事件、复测模型更新及比较不同驾驶决策后果 [11] - Waabi Copilot4D是发表于ICLR 2024的四维世界模型研究,将激光雷达点云转换为离散表征,通过扩散模型预测未来观测,学习道路环境在三维空间和时间中的变化 [12] - Copilot4D能以候选驾驶动作作为条件推演不同动作之后的环境,例如自车急刹时后方车辆可能怎样响应,团队在nuScenes、KITTI及Argoverse 2等数据集上测试,使自动驾驶世界建模覆盖到视频之外的观测形式 [13] - 百度2026年11月3日在深圳AI Day·Apollo专场首次披露Apollo World,将车辆、行人等交通参与者建模为具备决策和交互能力的智能体,使交通环境能够响应无人车动作 [26] - Apollo World支持生成摄像头、激光雷达等观测,并让驾驶系统在虚拟城市中连续完成从起点到终点的行程,已用于萝卜快跑全球化测试与验证,重点是将真实道路复杂交互和风险场景转为可重复测试的虚拟环境 [27] 交互环境与三维场景生成 - Runway的GWM-1家族包括可探索环境、虚拟角色和机器人操作三个方向,其中GWM Robotics根据机器人动作生成未来交互画面,支持多视角和长上下文,用于策略评测、合成数据扩充及机器人策略的视觉基础 [9] - Runway 2026年9月公布世界动作模型Praxis-1,将视频预训练用于真实机器人控制,发布时正与早期合作伙伴测试,公开权重仍属后续计划;同月发布的GWM Worlds 2面向实时视听交互环境,提供720p、每秒24帧的连续生成 [9] - 蚂蚁灵波LingBot-World 2.0又名LingBot-World-Infinity,2026年7月公开技术报告、推理代码与模型,9月补充更多模型版本,通过因果预训练和蒸馏改善持续交互时的生成质量与响应速度 [16] - LingBot-World 2.0官方演示配置支持720p、每秒60帧的视频流,交互覆盖移动、更多角色动作和文字驱动事件,还引入分别负责角色行为与环境变化的智能体,项目开放多个规模和类型的模型,当前许可证限非商业用途 [16] - 腾讯2026年4月公开HY-World 2.0,随后分阶段发布代码和模型,7月宣布HY-World 2.1产品更新,支持文字、单张图片、多视角图片与视频等输入,生成或重建可探索的三维场景 [17] - HY-World 2.0将全景生成、轨迹规划、世界扩展和三维重建组织成一套流程,输出三维高斯、网格等资产,可接入游戏引擎与Isaac Sim等工具,侧重环境空间生成与重建,物体受力、接触等动态过程仍需相应物理建模支持 [17] 策略训练与规划研究路线 - Dreamer 4于2025年9月公开,将世界模型与强化学习结合,先从视频等离线经验学习环境变化,再在模型生成的经验中训练行为,降低持续访问真实环境的需求 [24] - Dreamer 4在Minecraft中展示仅依靠离线数据、通过模型内训练完成获取钻石任务的结果,并改善复杂物体交互的预测与实时仿真能力,其核心验证环境是游戏,不能直接等同于已实现真实机器人的通用操作 [24] - DINO-WM于2024年11月公开并发表于ICML 2025,使用预训练DINOv2的局部视觉特征学习环境动态,通过预测未来特征优化能够接近目标画面的动作序列 [25] - DINO-WM研究覆盖迷宫、推物体和多粒子交互等六类实验环境,不要求为每个测试目标重新学习策略,也不依赖预先训练的逆动力学模型,项目公开了论文与代码 [25] - UniSim于2023年公开并发表于ICLR 2024,结合图像、机器人操作和导航等不同数据学习动作或指令之后环境会怎样变化,既能响应"打开抽屉"等高层指令,也能响应移动到某个位置等低层控制 [36] - UniSim研究使用生成的交互经验训练视觉语言规划器和强化学习策略,并展示向真实机器人的迁移,为后续利用视频世界模型开展策略训练提供了代表性实验路径 [36] - TD-MPC2发表于ICLR 2024,结合隐式世界模型、价值学习与模型预测控制,在压缩状态空间中预测不同动作的结果、优化动作轨迹再执行下一步控制 [37] - TD-MPC2在104项连续控制任务上开展评测,展示用一个3.17亿参数模型处理80项任务的结果,覆盖不同本体和动作空间,团队公开了数百个模型检查点和训练数据 [37] 行业格局与进展评估 - 这些成果呈现三种不同用途:生成可探索和编辑的环境、预测机器人与车辆采取动作后的变化、利用模型中的试验结果改进策略,部分团队已将这些环节接到同一套系统中 [39] - 公开实验留下具体差距:1X披露过生成速度慢于真实动作的问题,Ctrl-World仍难准确模拟部分碰撞和滑动 [39] - 世界模型的应用进展需同时看环境预测是否准确、模型中的训练能否改善真实任务表现,以及一次试验需要多少时间和计算资源 [40]

Nvidia-英伟达、百度、宇树…32个世界模型揭开物理AI底牌 - Reportify