Workflow
北大&智源研究院最新!RoboOS-NeXT:“记忆 + 分层架构” 实现通用多机器人协作
具身智能之心·2025-11-06 08:03

文章核心观点 - RoboOS-NeXT 提出了一种创新的多机器人协作框架,通过“时空-实体统一记忆(STEM)”和“大脑-小脑分层架构”,解决了现有方案在终身适应性、协作扩展性和调度鲁棒性方面的核心缺陷 [1] - 该框架实现了跨任务、跨机器人、跨环境的全能协作,在餐厅、超市、家庭等场景中表现出色,为多机器人协作技术的产业化提供了新范本 [1][26] 现有方案困境 - 端到端视觉-语言-动作模型依赖大规模数据集,新场景或新机器人泛化能力差,且无长期记忆,无法复用历史经验 [2] - 分层控制框架以单机器人为中心,异构团队协作效率低,策略与机器人形态强绑定,更换设备需重新调试 [2] - 传统多机器人协作方案仅适配同构机器人与结构化环境,动态场景适应性差,缺乏高层语义推理与低层执行的衔接 [2] RoboOS-NeXT 核心设计 - 系统核心是时空-实体统一记忆,整合了空间场景几何、时间事件历史和机器人实体属性三大维度信息,为所有机器人提供统一信息接口 [6] - 采用大脑-小脑分层架构,大脑模型负责全局任务分解与规划,小脑模型负责局部执行与容错,形成规划-执行-记忆更新的闭环 [9] STEM统一记忆组件 - 空间记忆采用树形场景与图结构物体的分层设计,通过场景树与SLAM地图对齐以及物体关系图更新,精准描述全局场景与局部物体关系 [6] - 时间记忆是一个仅追加、按时间排序的事件队列,为长序列任务提供历史上下文,避免重复操作 [7] - 实体记忆为每个机器人建立能力-状态档案,实时同步机器人位置、技能库、资源状态等信息,确保任务分配时选对机器人、用对技能 [8] 系统执行流程 - 任务分解阶段通过检索增强生成从STEM中提取场景信息、历史反馈和机器人状态,生成结构化任务流图 [10][12] - 动态调度阶段实时监控任务进度与机器人状态,若某机器人离线,立即从STEM查询空闲且有对应技能的机器人重新分配任务 [10] - 分布式子任务执行阶段每个机器人代理调用小脑技能库工具,结合STEM记忆动态调整动作 [12] - 动态记忆更新阶段机器人执行动作时实时更新STEM的空间、时间、实体记忆,为后续任务提供最新信息 [12] 实验性能表现 - 在终身适应性测试中,RoboOS-NeXT在长序列任务下保持75%以上成功率,而无记忆基线完全失效,证明记忆能维持长期任务能力 [13] - 复杂任务执行步数比基线降低20%-70%,例如家庭中等难度任务从41.4步降至15.5步,效率提升61% [13][17] - 协作扩展性测试显示,同构机器人从1个增至5个时,任务平均执行步数从34.8步降至8.5步,降低76%,每步成功率从2.20%/步升至8.20%/步,提升373% [14][18] - 在故障场景下,系统表现出强容错能力,如机器人离线时任务成功率仅从81.6%降至87.6%,而基线降至44.5% [19] 技术优势与价值 - 统一记忆是协作的基石,STEM整合空间-时间-实体信息,彻底打破单机器人的信息壁垒,为终身适应、弹性协作、鲁棒调度提供数据支撑 [23] - 分层架构平衡全局与局部规划,大脑模型确保任务分解合理,小脑模型确保动作精准容错,实现规划-执行-记忆的闭环 [23] - 鲁棒性源于记忆与动态调度结合,通过STEM实时同步状态,大脑模型动态调整任务分配,快速应对机器人离线、工具失效等故障 [23]