核心观点 - 国防科大、北京大学、深圳大学团队提出LaDi-WM（Latent Diffusion-based World Models），一种基于隐空间扩散的世界模型，用于预测隐空间的未来状态，提升机器人操作性能 [1] - LaDi-WM利用预训练的视觉基础模型构建隐空间表示，包含几何特征和语义特征，具有广泛通用性，有利于机器人操作的策略学习和跨任务泛化 [1] - 团队设计了一种扩散策略，通过整合世界模型生成的预测状态迭代优化输出动作，在LIBERO-LONG数据集上成功率提升27.9% [2] - 该方法在虚拟和真实数据集上均表现出色，在真实场景中将原始模仿学习策略的成功率显著提升20% [26] 技术方法 - 世界模型学习阶段：通过预训练的视觉基础模型提取几何表征（DINOv2）和语义表征（Siglip），并在扩散过程中让二者交互，学习依赖关系 [10] - 策略模型训练与迭代优化：将世界模型的未来预测作为额外输入引导策略学习，基于扩散策略模型架构，迭代优化动作输出 [12] - 框架分为世界模型学习和策略学习两大阶段，通过任务无关的片段学习隐扩散世界模型，再利用未来状态预测优化策略模型 [9] 实验结果 虚拟实验 - 在LIBERO-LONG数据集上，仅用10条轨迹训练，达到68.7%的成功率，显著优于其他方法（DreamerV3 33.5%，ATM 44.0%，Seer 53.6%） [15][16] - 在CALVIN D-D数据集上，平均完成任务数量为3.63，优于Seer（3.60）和ATM（2.98） [17] - 跨场景实验中，在LIBERO-LONG训练的世界模型应用于CALVIN D-D策略学习，性能比CALVIN环境训练的原始策略高0.61 [21] 真机实验 - 在真实场景操作任务（叠碗、开抽屉、关抽屉、抓取物体放入篮子等）中，将原始模仿学习策略的成功率从40.0%提升至60.0% [26] - 提出的策略在不同光照条件和初始位置下表现出鲁棒的泛化性 [25][27] 创新点 - 基于隐空间扩散的世界模型：使用视觉基础模型构建隐空间的通用表示，学习可泛化的动态建模能力 [5] - 基于世界模型预测迭代优化的扩散策略：利用未来预测状态反馈给策略模型，迭代优化动作输出 [6] - 通过交互扩散过程学习几何与语义表征之间的依赖关系，促进准确动态预测 [10]