文章核心观点 - 谷歌DeepMind提出的世界模型Dreamer 4，是一种可扩展的智能体，通过在快速且准确的世界模型中进行想象训练来解决控制任务 [5] - Dreamer 4是首个仅从标准离线数据集（无需与环境交互）就在具有挑战性的电子游戏《我的世界》中获得钻石的智能体 [7] - 该模型利用新颖的shortcut forcing目标和高效的Transformer架构，准确学习复杂的物体交互，同时实现实时人机交互和高效的想象训练 [11] 模型设计概览 - Dreamer 4智能体由一个tokenizer和一个动力学模型组成，两者均使用相同的高效Transformer架构 [17] - tokenizer通过掩码自动编码进行训练，将视频帧压缩为连续表示 [17] - 动力学模型通过shortcut forcing目标进行训练，以实现少量前向传递的交互式生成，并防止随时间累积误差 [17] - 训练流程包括在视频和动作上预训练tokenizer和世界模型，然后将策略和奖励模型微调至世界模型中，最后通过想象训练对策略进行后训练 [19] 实验结果 离线钻石挑战 - 在《我的世界》钻石任务中，Dreamer 4在使用的数据量少100倍的情况下，大幅超越了OpenAI的离线智能体VPT [22] - Dreamer 4超越了利用Gemma 3视觉语言模型通用知识的VLA智能体，在制作铁镐的成功率上几乎是VLA智能体的三倍 [22] - 与基于行为克隆的方法相比，Dreamer 4在四个关键物品的成功率以及获取物品所需时间这两个指标上均表现更优 [24] 人类交互评估 - 在涵盖挖坑、建造墙壁、砍伐树木等16项多样化任务的评估中，Dreamer 4成功完成了14项任务，成功率为14/16 [29] - 相比之下，Lucid-v1模型成功率为0/16，Oasis（small）模型成功率为0/16，Oasis（large）模型成功率为5/16 [29] - Dreamer 4模型参数量为2B，支持640×360分辨率，上下文长度为9.6秒，帧率为21 FPS [29] 动作生成效率 - 仅使用10小时的动作训练时，Dreamer 4的PSNR达到53%，SSIM达到75% [32] - 使用100小时的动作训练时，性能进一步提升，PSNR达到85%，SSIM达到100% [32] - 结果表明世界模型从无标签视频中吸收了大部分知识，仅需要少量的动作标签 [32]