HuMI (Humanoid Manipulation Interface)
搜索文档
情人节暴击!下跪求婚的可以是机器人了
机器之心· 2026-02-14 11:16
文章核心观点 - 清华大学交叉信息研究院、上海期智研究院、千寻智能与上海交通大学联合团队研发了名为HuMI的通用框架,该框架通过便携式穿戴设备和分层控制算法,显著降低了人形机器人全身操作技能数据采集的门槛与成本,并提升了学习效率和策略的泛化能力 [1][8][21] HuMI系统解决的问题与背景 - 传统获取人形机器人操作数据的方法(如遥操作)存在采集效率低下、对操作员要求高、场景局限于实验室等问题,难以获得支撑技能泛化的多样性数据 [5] - 将机械臂上成功的“无真机”数据采集方案直接迁移到人形机器人面临三大难题:仅记录手部轨迹无法约束全身姿态、人机身体构型差异导致动作不可用、底层控制器跟踪误差导致规划与执行脱节 [13] HuMI系统的核心技术 - **硬件设计**:采用便携式穿戴设备,操作员仅需手持两个带鱼眼相机的UMI手柄,并在身体关键部位佩戴5个追踪器,即可在各种真实环境中采集数据,无需搬运笨重的实体机器人 [9] - **数据采集与处理**:系统提供实时逆运动学预览,操作员可通过屏幕观察虚拟机器人的动作效果,及时调整姿态以确保采集数据的物理可行性,这些数据进一步用于底层控制器的训练 [12] - **算法架构**:采用分层控制策略,高层规划基于Diffusion Policy利用视觉输入规划全身关键点轨迹,底层控制通过强化学习训练,并设计了自适应手部跟踪奖励和变速增强训练以兼顾平衡与操作精度 [14][20] 实验验证与性能表现 - **任务能力**:在Unitree G1人形机器人上成功实现了求婚(单膝下跪)、拔剑出鞘、投掷玩具等五项高难度全身操作任务,成功率均达到**75%**以上,展现了双臂协同、高动态及长距离移动操作能力 [17] - **泛化表现**:得益于便携设备带来的数据多样性与规模,策略在复杂新环境中表现出色,例如在下蹲拾取任务中,面对未见过的场景和物体,仍能保持**70%**的成功率 [18] - **采集效率**:相比传统遥操作,HuMI的数据采集吞吐量提升至传统方式的**3倍**,例如拔剑任务仅需**15分钟**即可收集**60条**有效演示数据,并且能够突破底层控制器限制,先行采集单膝下跪等高难度动作数据 [19] 研发团队与相关方 - 该研究项目由清华大学交叉信息研究院、上海期智研究院、**千寻智能**与上海交通大学的联合团队完成 [1] - **千寻智能**的联合创始人高阳(清华大学交叉信息研究院助理教授)是该项目的通讯作者 [27]