文章核心观点 - 该综述首次对3D和4D世界建模领域进行了全面系统的梳理，明确定义了“世界模型”和“3D/4D世界建模”的概念，为研究社区提供了统一的术语和清晰的概念框架 [8][13] - 文章提出了一个层次化的分类体系，将当前方法基于表示模态划分为基于视频生成、基于占用生成和基于激光雷达生成三大类，并进一步按功能类型细分为数据引擎、行动解释器、神经模拟器和场景重建器 [8][13] - 研究系统总结了专门针对3D和4D场景的数据集和评估协议，并对相关领域的最新方法进行了基准测试，旨在填补现有综述多强调2D模态、对原生3D/4D数据研究不足的空白 [8][9][13] 3D和4D世界建模的重要性与意义 - 世界建模是人工智能和机器人学中的基础任务，目标是使智能体能够理解、表示和预测其所处的动态环境，近年来生成建模技术的进展极大地丰富了该领域 [9] - 与2D投影不同，原生3D/4D信号在坐标中编码了度量几何、可见性和运动，这些是物理作用发生的坐标，使其成为满足可操作建模需求（如多视图一致性、运动学、遮挡推理）的首选载体 [9] - 在安全关键的应用中，智能体不仅要生成逼真的帧，还要遵守几何、因果关系和可控性，RGB-D、占用和激光雷达数据提供了满足这些要求的归纳偏差 [9] - 工业界已启动雄心勃勃的世界建模计划，目标应用于交互式机器人、沉浸式模拟和大规模数字孪生，凸显了该领域在学术界和工业界日益增长的重要性 [9] 基础知识与定义 - 3D和4D世界建模常用的场景表示方法包括视频流、占用网格、激光雷达点云和神经表示，这些表示强调几何一致性和时间一致性，以确保物理上合理的模拟 [14] - 文章为世界建模建立了精确的定义：其目标是生成或预测满足几何、时间和语义一致性的3D或4D表示，生成过程通常需要几何条件、行动条件或语义条件作为引导 [15] - 世界建模方法被分为四种功能类型：数据引擎（生成多样化场景）、行动解释器（预测未来世界状态）、神经模拟器（模拟闭环交互）和场景重建器（从部分观测恢复完整场景） [15] 生成模型与方法分类 - 生成模型是3D/4D世界建模的基础，核心算法包括变分自编码器、生成对抗网络、扩散模型和自回归模型，使智能体能够学习、想象和预测感官数据 [17][19] - 基于视频生成的方法专注于从多视角视频数据生成或预测动态场景，应用包括感知数据增强、规划导向的数据挖掘和场景编辑与风格转换 [20][21][24] - 基于占用生成的方法利用占用网格作为几何一致的中间表示，应用于3D感知增强和未来占用预测，支持行为感知和可控预测 [26] - 基于激光雷达生成的方法通过生成多样化的点云来缓解训练数据稀缺问题，应用于感知数据增强、场景完成和罕见条件建模 [29][30] 数据集与评估 - 研究覆盖了用于视频生成、占用生成和激光雷达生成的主流数据集，例如nuScenes数据集包含1000个场景、140万张图像（6个视角）和40万帧数据，采集频率为2Hz [32][37] - 评估指标分为五个方面：生成质量（如FID、FVD）、预测质量（如IoU、CD）、规划质量（如ADE、FDE）、重建质量（如PSNR、SSIM）和下游任务评估（如mAP、mIoU） [35][38] - 基准测试结果显示，部分模型表现出色，例如MagicDrive和DreamForge等视频生成模型的FVD值低于100，某些占用生成模型在重建质量上的mIoU值超过90% [39][43] 应用领域 - 在自动驾驶领域，世界模型应用于交通模拟、闭环驾驶评估和场景合成，可生成罕见或安全关键场景以评估系统鲁棒性 [52][53] - 在机器人技术中，世界模型支持具身导航、目标中心的操控和基于场景生成的仿真，帮助机器人预测动态并规划任务 [52][54] - 在视频游戏和扩展现实领域，世界模型实现了程序化世界生成和交互式场景渲染，根据玩家互动调整内容以增强沉浸感 [55][56] - 数字孪生应用利用世界模型进行城市级场景建模和事件回放与预测，支持智能城市规划、分析和仿真 [57] 挑战与未来方向 - 当前领域缺乏统一的基准测试和评估协议，使得模型比较困难，未来需要建立涵盖物理合理性、时间连贯性等关键指标的标准化框架 [60] - 在长时域内实现高保真度生成是一大挑战，小误差会累积导致场景连贯性下降，未来需开发先进的生成技术和记忆机制 [60] - 模型在物理保真度、可控性与泛化能力方面存在局限，常产生物理不合理事件，编辑能力粗糙，且难以泛化到新环境 [60] - 计算效率低和跨模态生成一致性差是主要挑战，未来需优先研究稀疏计算、推理加速技术以及能强制执行严格一致性约束的集成架构 [60][61]