核心观点 - 研究团队提出名为KineDex的新方法 通过手把手教学方式将人类动作直接传递至灵巧手 并同步采集高保真触觉信息 显著提升了机器人学习精细操作任务的性能[2][10] - 该方法使星动纪元灵巧手星动XHAND 1成功解锁了挤牙膏、拧瓶盖等复杂精细操作 在九项任务中平均成功率达74.4%[3][5] - KineDex的数据采集效率相较于传统遥操方法提升两倍以上 且成功率接近100% 远高于遥操的39%[5][25] 技术方法与创新 - KineDex的核心创新在于手把手教学 操作者通过穿戴灵巧手上的环形绑带自由移动 实时执行任务并获得自然触觉反馈[10][12][13] - 系统采集视觉观测、本体感知、触觉传感和指尖力等数据 并采用图像修复技术从视觉观测中移除操作者手部以避免干扰机器人学习[14][15][16] - 学习得到的策略接收视觉与触觉信息输入 预测关节位置与接触力 并通过力控执行以实现鲁棒操作[17] 实验验证与性能 - 实验设计了九项复杂任务 包括挤牙膏、按压注射器和拧瓶盖等 重点关注精细力控和多指协调能力[18] - KineDex在多数任务中成功率超过70% 在瓶体抓取等简单场景中成功率近100% 整体平均成功率达74.4%[5][21] - 消融实验表明 力控模块至关重要 其缺失会使平均成功率骤降至16.7% 触觉输入的缺失则导致相关任务平均成功率降低26.7%[21][23] - 图像修复步骤不可或缺 若省略此步骤将导致所有任务成功率为0并出现异常行为[24] 效率优势与应用潜力 - KineDex在数据收集效率上显著优于遥操 收集速度快一倍以上 在复杂任务中单次示教耗时仅为遥操的50% 在简单任务中耗时不到遥操的三分之一[25] - 用户研究表明 手把手教学方式被认为更直观高效 更容易收集复杂任务的数据[27] - 该论文已被CoRL 2025接收 展示了其在机器人学习领域的学术认可度[7]