Workflow
WorldMem
icon
搜索文档
转身世界就变样?WorldMem用记忆让AI生成的世界拥有了一致性
机器之心· 2025-05-11 11:20
本文一作为肖泽琪, 本科毕业于浙江大学,现为南洋理工大学博士生, 研究方向是基于视频生成模型的世界生成和模拟,导师为潘新钢。个人主页: https://xizaoqu.github.io 近年来,基于视频生成模型的可交互世界生成引发了广泛关注。尽管现有方法在生成质量和交互能力上取得了显著进展,但由于上下文时间窗口受限,生成的世 界在长时序下严重缺乏一致性。 针对这一问题,南洋理工大学 S-Lab、北京大学与上海 AI Lab 的研究者提出了创新性的世界生成模型—— W orldM em ,通过引入记忆机制,实现了长时序一致 的世界生成。 WorldMem 在 Minecraft 数据集上进行了大规模训练,支持在多样化场景中自由探索和动态变化,并在真实数据集上验证了方法的可行性。 研究背景 世界生成模型在近期受到了广泛关注,如谷歌的 Genie 2 [1]、阿里的 The Matrix [2]、Meta 的 Navigation World Models [4] 等。这些方法在生成质量与交互性方面取 得了显著进展,但长时一致性问题仍未得到有效解决。 举例:当我们控制视角先向右转,再向左转。 在传统方法中,回看时 ...