文章核心观点 - 香港科技大学、北京智源研究院、北京大学等机构联合提出DexRoam系统，构建从第一视角人类示范采集、全身动作对齐到机器人策略学习与真机执行的完整链路，使人类示范能够跨越本体差异直接作为机器人动作监督 [2][29] - DexRoam核心价值在于解决人机动作差异的同时保留人类示范中连续、精细的全身协同关系，使其能与机器人数据共同用于策略训练，为复杂移动双臂灵巧操作拓展数据来源并减少对高成本机器人遥操作示范的依赖 [2] - 该工作已被CoRL 2026接收，论文标题为DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations [2][4] 研究背景与问题 - 机器人完成提水果篮、转身、送到另一张桌子等动作，需要移动底盘、躯干、双臂、头部和灵巧手的持续协调 [1] - 随着移动能力与灵巧手的引入，机器人遥操作示范采集愈发复杂，甚至需要多名操作者协同完成 [1] - 人类日常操作中蕴含丰富的全身协同经验，研究团队据此探索能否直接利用人类示范帮助机器人学习复杂移动双臂灵巧操作 [2] 数据采集系统 - DexRoam构建无需外部动捕设备的便携式第一视角全身采集系统，示范者仅需佩戴Meta Quest 3头显和头戴式ZED Mini双目相机，即可同步记录第一视角视频、全身关节运动与手部关键点 [5] - 该系统无需外部摄像头、环境标记或额外身体追踪器，并将相机画面实时显示在头显中，使采集视觉体验与后续策略训练的视觉观测保持一致 [5] - 团队另搭建单人全身遥操作系统，通过VR头显、控制器与数据手套同步控制机器人底盘、躯干、双臂、头部和灵巧手，两套系统分别提供人类与机器人示范，为联合学习建立数据基础 [5] 三阶段人机动作对齐方法 - 本体对齐：以人体骨盆为参考建立坐标系，将人的移动、躯干、双臂和头部运动映射到对应机器人部件，并通过手部重定向生成灵巧手指令，保留全身动作的相对运动关系 [9] - 动作语义对齐：将底盘、躯干和双臂运动表示为相对动作表征，减少对人体绝对姿态的依赖，使两类示范具有一致的控制含义 [10] - 时间对齐：按照任务进度重新采样人类轨迹，在保留原有运动轨迹的同时匹配机器人示范的时间尺度，提供更一致的时序监督 [12] 策略学习方案 - 经过三阶段对齐，人类与机器人示范可通过统一的观测—动作接口共同用于VLA策略训练，无需针对人类数据额外修改模型结构 [13] - 团队采用GR00T N1.7和π₀.₅两个VLA模型，探索人机联合训练、人类预训练后使用机器人数据微调、人类预训练后人机联合微调三种训练策略 [13] 动作对齐实验结果 - PCA可视化显示，仅完成本体重定向时两类动作分布仍存在明显差异，经过完整对齐后分布重叠程度显著增加 [16] - 定量评估中MMD和SWD指标分别平均降低41.7%和31.1%，且转换后的人类轨迹能够在真机上成功回放 [19] 真机策略学习实验结果 - 在两个VLA模型和五项任务上，三种结合人类示范的训练策略均带来性能提升，其中人类预训练加人机联合微调表现最佳，GR00T N1.7平均成功率从29%提升至56%，π₀.₅从32%提升至57% [22] - 以拿取薯片罐为例，仅用机器人数据训练的策略主要从正面抓取，易在物体朝向变化时碰倒；加入人类示范后机器人能根据物体朝向选择侧面抓取，该动作仅存在于人类示范中，未出现在机器人训练数据中 [23] - 在保持人类示范数量不变、逐步减少机器人示范的实验中，结合人类示范并将机器人数据量减半，仍能达到与完整机器人数据基线相近的任务表现，意味着对齐后的人类示范可替代约50%的高成本机器人遥操作数据 [26] - 少样本实验显示，仅引入少量机器人示范，策略表现便明显提升，体现人类操作经验与有限机器人数据相结合的价值 [27] 行业意义与开源情况 - DexRoam表明即使是需要底盘移动、双臂配合与精细手指控制持续协同的移动灵巧操作，人类示范也能跨越本体差异成为机器人直接学习的动作监督，机器人学习的不再只是孤立抓取或移动动作，而是贯穿整个任务的连续全身协同 [29] - 该结果为机器人数据规模化提供新方向：人类数据的价值不仅在于丰富的视觉和任务信息，更在于其中蕴含的大量细粒度、相互关联的全身动作经验，有望使复杂移动灵巧操作学习逐步摆脱对高成本全身遥操作数据的高度依赖 [29] - 团队已开源DexRoam的采集与对齐代码、策略训练代码，为后续相关研究提供支持 [30]