编辑丨 量子位 点击下方 卡片 ，关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区： 具身智能之心知识星球（戳我） ，这里包含所有你想要的! 在具身智能 （Embodied AI） 的快速发展中， 样本效率 已成为制约智能体从实验室环境走向复杂开放世界的瓶颈问题。 不同于纯数字域的对话任务， 具身任务 通常涉及极度复杂的物理环境感知以及高维度的连续控制输出，这意味着智能体面临着巨大的状态- 动作搜索空间，导致学习效率低下且难以收敛。 传统的无模型强化学习由于缺乏对底层物理逻辑的理解，完全依赖于海量的盲目试错来获取学习信号。 然而，在现实物理世界中，每一次交互都伴随着不可忽视的时间损耗、高昂的硬件维护成本以及潜在的安全风险，这使得动辄数亿次的交互 需求变得极不现实。 为了应对这一挑战， 世界模型强化学习 （World Model RL） 研究应运而生。 其核心范式在于通过额外学习一个能够表征环境内在转移规律的预测模型，使智能体具备在想象空间中进行自我进化的能力。 这种机制允许智能体在潜空间内进行大规模、低成本的轨迹预演与策略优化，从而显 ...

具身智能与样本效率挑战 - 具身智能的快速发展面临样本效率瓶颈，制约其从实验室走向复杂开放世界[1] - 具身任务涉及复杂的物理环境感知和高维连续控制，导致巨大的状态-动作搜索空间，学习效率低下且难以收敛[1] - 传统无模型强化学习依赖海量试错，在现实物理世界中面临时间损耗、高昂硬件成本和潜在安全风险，使数亿次交互需求不现实[2] 世界模型强化学习的兴起 - 世界模型强化学习应运而生，旨在应对上述挑战[3] - 其核心范式是通过学习一个能预测环境内在转移规律的模型，使智能体具备在想象空间中进行自我进化的能力[4] - 该机制允许智能体在潜空间进行低成本的大规模轨迹预演与策略优化，显著降低对环境交互的依赖，加速具身智能机器人落地[4] BOOM框架的提出与核心创新 - 清华大学与加州伯克利的研究团队联合提出BOOM框架，旨在结合在线规划与离轨策略学习[6] - 在线规划能让智能体通过模拟未来轨迹优化动作，提升样本效率，但与策略学习结合时存在根本矛盾——角色偏差[6][7] - 角色偏差导致两大痛点：价值学习的分布偏移和不可靠的策略改进[8] - BOOM框架的核心思想是构建一个自举循环，包含两大创新机制[10] - 无似然对齐机制：采用无似然对齐损失，无需知道规划器的具体概率分布，即可实现策略与规划动作的高效对齐，缓解角色偏差[10] - 软Q加权机制：根据Q函数动态调整权重，引导策略优先学习高价值、高回报的优质经验，加速学习并处理历史数据波动[11] BOOM框架的实验性能 - 研究团队在DeepMind Control Suite和Humanoid-Bench上进行了全面评估[12] - 在Humanoid和Dog等14个高维任务中，BOOM的最终表现和训练稳定性均达到了State-of-the-art水平[13] - 在DMC任务中，BOOM平均得分877.7，超过了TD-MPC2的745.6和BMPC的835.8，分别领先17.7%和5.0%[13][14] - 在Humanoid-Bench任务上，BOOM平均得分820.6，比DreamerV3的555.6提升了47.7%，比BMPC的511.7提升了60.5%[13][14] - 在复杂任务如需要滑行或跨障碍的任务中，BOOM展现出极强的控制鲁棒性，部分任务性能提升甚至超过100%[16] BOOM框架的工作机制与意义 - BOOM框架通过自举循环实现规划与学习的双向奔赴：策略网络为规划器提供初始动作方案，规划器则利用世界模型精炼出更高质量的动作反馈给策略网络[15] - 该框架通过巧妙的自举对齐机制，消弥了世界模型规划与离轨策略强化学习之间的鸿沟[17] - 这不仅为高维连续控制任务提供了高效、稳定的解决方案，也为未来具身智能在复杂现实环境中的落地提供了理论与实验支撑[17]