Workflow
AI无限生成《我的世界》,玩家动动键盘鼠标自主控制!国产交互式世界模型来了

核心观点 - 昆仑万维推出的Matrix-Game通过AI技术实现交互式虚拟世界生成,用户可通过简单键鼠指令自由探索和创作高保真虚拟内容[10] - 该技术突破传统手写代码和渲染方式,大幅降低创作门槛并提升效率[11] - Matrix-Game在视觉质量、时间一致性、交互可控性和物理规则理解四大维度全面领先现有开源模型[36] - 空间智能成为AI发展新方向,3D AIGC技术正在重塑虚拟内容创作和交互方式[43][48] 技术实现 数据集构建 - Matrix-Game-MC数据集包含无标签Minecraft视频和带控制信号的可控视频数据[14] - 采用三阶段过滤机制从6000小时数据中筛选出近千小时高质量内容[16][17] - 通过探索代理和程序化模拟生成数千小时可控监督数据[17] 主模型架构 - 基于扩散模型框架,包含图像到世界建模、自回归视频生成和可控交互设计[18][20] - 图像到世界建模以单张图像为起点,结合用户动作输入生成视频内容[20] - 自回归生成以前5帧为上下文确保时间连贯性,采用扰动和分类引导策略缓解误差[23][24][25] - 动作控制模块采用离散/连续token表达,结合多模态Diffusion Transformer架构[27] 性能表现 评测体系 - GameWorld Score首次实现感知质量+控制能力+物理合理性的综合评估[29][30] - 四大核心维度:视觉质量、时间一致性、交互可控性、物理规则理解[31][32][33][34] 对比结果 - 在8大Minecraft场景中全面超越Decart的Oasis和微软的MineWorld[36] - 用户偏好率达96.3%,视觉质量偏好率98.23%[37] - 键盘动作准确率90%+,鼠标视角控制精度达0.97-0.98[39][40] 行业应用 - 可应用于游戏世界搭建、影视/元宇宙内容生产、具身智能训练等领域[41] - 实现低成本高效率生成高保真可交互虚拟环境[42] - 3D AIGC技术成为大模型发展新方向,谷歌DeepMind、腾讯等巨头均已布局[45][46] - 空间智能将重塑人机交互方式,是下一代AI技术的重要赛道[48][49]