编辑丨机器之心 点击下方 卡片 ，关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 人形机器人的运动控制，正成为强化学习（RL）算法应用的下一个热点研究领域。当前，主流方案大多遵循 "仿真到现实"（Sim-to-Real）的范式。研究者们通过 域随机化（Domain Randomization）技术，在成千上万个具有不同物理参数的仿真环境中训练通用控制模型，期望它能凭借强大的泛化能力，直接适应动力学特性 未知的真实世界。尽管这类 "零样本迁移"（Zero-Shot Transfer）方案在多种运动任务上取得了卓越表现，但其本质目标是训练一种在任何环境下都 "能用" 的保守 策略。这种策略牺牲了机器人在特定真实环境中的性能上限，因为对于最终落地而言，真实世界的表现才是唯一重要的标准。 为了突破这一瓶颈，近期一些工作开始探索在仿真预训练后，利用少量真实数据对模型进行微调。例如，来自英伟达和 CMU 等机构的研究者提出的 ASAP [1]， 通过训练一个残差网络来快速补偿仿真与 ...

核心观点 - 人形机器人运动控制领域正成为强化学习算法应用的热点 采用仿真到现实范式训练通用控制模型 但该方案牺牲了特定真实环境中的性能上限[2] - 提出创新的RTR系统 使用教师机械臂在现实世界指导学生人形机器人进行在线强化学习 突破真机训练障碍[4][6] - RTR系统通过硬件协同和算法创新实现三阶段高效微调 在行走和荡秋千任务中展现卓越性能 仅需20分钟真实训练即可将仿真预训练速度提升一倍[6][15][19] 技术方案 - 硬件系统由教师UR5六轴机械臂与学生ToddlerBot人形机器人组成 通过四根弹性缆绳柔性连接 配备力传感器和可编程跑步机[8] - 教师机械臂扮演多重角色：安全保护装置 自动重置帮手 训练数据信号源 以及通过课程学习设置进度和施加扰动的智慧教练[5] - 算法采用三阶段Sim-to-Real流程：先在仿真环境训练适应不同物理参数的策略 再优化通用初始隐变量 最后在真实世界仅在线优化低维隐变量z[9][10][11] 性能表现 - 在行走任务中 主动顺应机器人运动的柔性机械臂比固定吊架显著提升学习效果 课程学习策略优于固定辅助策略[15] - 微调隐变量方法在数据效率和最终性能上均优于微调整个策略网络或残差网络基线 真机微调效果强于RMA等在线参数识别基准[6][18] - 在纯真实环境荡秋千任务中 有教师主动参与的课程学习效率高于固定吊架方案 20分钟内学会幅度明显的周期性摆荡动作[19] 应用前景 - RTR框架为解决当前人形机器人真机部署与训练瓶颈提供可行方案 引入主动力辅助新范式[17] - 该框架具有高度扩展性 可通过更强工业机械臂或力传感龙门吊系统推广至全尺寸人形机器人及其他复杂机器人系统[17] - 项目代码已全部开放 被CoRL 2025会议接收 由清华大学和斯坦福大学研究人员共同完成[22]