Workflow
FERT算法框架
icon
搜索文档
当机器人开始向同伴学习:96台真机探索具身智能的规模化成长
机器之心· 2026-10-30 12:24
文章核心观点 - 前沿通用智能模型在部分操作任务上具备零样本能力,但落地部署的关键在于策略可靠性,机器人在接触交互、对齐及长流程任务中仍易反复出错 [1] - 人类动作示范可提升模型可靠性,但大规模部署时专家人力难以同步扩张,行业需要摆脱对人类示教的依赖 [1][7] - 行业探索方向是让具备基础能力的机器人在真实世界中自主试错、利用自采数据持续迭代,并将个体经验转化为群体可复用的能力 [1][43] - 清华大学、智元与无问芯穹联合提出群体经验学习(CEL)范式,并在96台机器人上完成原型验证 [1] CEL范式的核心机制 - CEL改变后续学习中动作监督的来源,一台机器人在相似情境下的成功经验可帮助共享策略弥补另一台机器人的不足,实现一台机器人的练习惠及整个群体 [8] - 人类角色随之变化:从不断提供动作、协助探索,转向结果判定 [9] - 落地需跨越两道关:一是如何从仅有0/1反馈的大量执行经验中找到真正值得学习的经验,二是如何让规模化机器人在线运转,在通信受限和局部故障下持续稳定积累经验 [13] FERT算法:失败引导的经验检索微调 - 单次任务时长3分多钟、4000多步,但最终反馈仅有一个比特,成功记为1、失败记为0,无法直接指出策略不足环节与值得重点学习的成功经验 [14] - FERT区分成功与失败样本作用:成功轨迹提供可学习的动作,失败场景指明学习重点方向 [14] - 初始策略在各机器人上异步执行任务,成功轨迹存入共享经验池作为后续微调素材 [16] - 算法截取失败任务临近结束前的一段观测序列,对相机图像与机器人关节状态做联合编码,并据此在成功经验池中检索相似操作片段 [16] - 与当前失败场景匹配的成功片段被赋予更高采样优先级,引导训练聚焦易出错环节;更新完成的策略下发回机器人,持续生成新的成功与失败经验 [17] FATS容错异步训练系统 - 96台机器人同时训练面临执行快慢不一、复位慢、网络波动、充电、硬件故障等现实问题,局部故障即重启整个训练将使大规模协同训练无从谈起 [19][20] - FATS将100台机器人、50个边缘节点和6台云端服务器持续动态组织起来,稳定支撑大规模真实世界在线学习,并将机器人视作与GPU同等的训练资源实现统一调度 [21] - 数据平面SwarmLink连通环境、推理与训练节点,每台机器人完成一轮任务后异步提交数据,训练侧基于已抵达经验实时更新策略,无需等待所有机器人任务完成 [22] - SwarmLink支持端云资源灵活编排,训练、推理等组件可按需部署在云端或端侧,并支持多样化网络带宽与拓扑结构自由配置,以权衡权重同步的高带宽开销与频繁交互的延迟压力 [22] - 控制平面HotSwarm管理节点和工作进程动态进出,机器人暂停、离线或重新加入时保留节点注册信息与资源配置,更新工作进程并修复受影响连接 [27] - 96台机器人规模系统实验中,集群累计采集9834轮执行经验,期间22台机器人发生30起故障,故障导致的机器人时间损失仅占总运行机时的1.3% [27] 真实任务实验与性能表现 - 实验横跨家庭与工业场景,覆盖插花、叠衣服、手机充电、凳子组装和手机包装五项任务,涉及柔性物体、精确操作、工具使用与长流程执行 [35] - 五项真实世界任务、两台未参与训练的机器人共完成600次测试,累计测试近30机器人小时,仅出现15次任务失败,总体成功率97.5%,失败率仅2.5% [37] - 单台机器人在叠衣服和手机充电任务中分别实现连续3小时34分和3小时19分无任务失败 [37] - 传统离线微调(SFT)平均成功率仅36.3%,基于人类示范的多机HG-DAgger方案成功率提升至81.0%,CEL范式下的FERT算法进一步突破上限,最终模型在全任务上的表现均超过6名人类遥操员的平均水平 [37] - 手机包装等多阶段长流程工业场景中,训练后策略在两台未参与训练的同型号机器人上完成120次测试,成功率从79.2%提升至98.3%,失败从25次降至2次,减少92% [4] 规模化趋势 - 相同物理训练时间内,参与学习的机器人从16台增加至96台,测试成功率由86.7%提高至98.3%,机器人数量增加转化为更可靠的任务执行能力 [4] - FERT算法在五项任务上均呈现显著规模化趋势:机器人数量越多,任务成功率越高 [41] - 依赖人类示教的HG-DAgger方案仅表现出有限扩展能力,人类示教采集效率成为其扩大规模、突破成功率上限的瓶颈 [41] - 难度最高的手机包装任务中,参与FERT训练的机器人从16台扩展至96台,测试成功率从86.7%提升至98.3% [41] 行业意义与部署前景 - 具身智能的规模化方向除积累人类示范数据外,还可扩大具备自主探索能力的机器人群体,让真实世界物理交互成为持续学习的核心来源 [41] - CEL让已具备基础能力的机器人自主贡献经验,通过共享策略将个体实践转化为群体可复用的能力,部署现场成为新的经验来源 [43] - 96机实验将经验获取、经验利用与持续运行连接起来,在真实机器人上展示了扩大群体带来的学习收益,机器人数量有机会成为能力增长的新维度 [44]