文章核心观点 - 研究团队提出DemoHLM框架，通过仅需1次仿真环境中的人类演示即可自动生成海量训练数据，解决人形机器人移动操作领域依赖硬编码、真实数据成本高、跨场景泛化差的核心痛点 [1] 核心挑战与现有痛点 - 人形机器人移动操作面临数据效率低、任务泛化差、Sim-to-Real迁移难三大难题 [3][6] - 传统方法需消耗数百小时真实遥操作数据，且依赖任务特定的硬编码设计，难以满足复杂场景需求 [3][6] - 基于仿真训练的策略常因物理引擎差异和传感器噪声无法在真实机器人上稳定运行 [6] DemoHLM框架技术方案 - 采用分层控制架构，包含低层全身控制器和高层操作策略，解耦运动控制与任务决策 [7] - 低层控制器基于AMO框架优化，运行频率50Hz，负责将高层指令转化为关节力矩并保证机器人平衡 [12] - 高层策略通过视觉闭环反馈向低层发送任务指令，运行频率10Hz，支持ACT、Diffusion Policy等多种行为克隆算法 [12] - 为机器人设计2DoF主动颈部与RGBD相机，通过比例控制器实现视觉追踪稳定，避免物体遮挡导致的感知失效 [7] 单演示数据生成流程 - 关键突破在于无需真实数据，仅用1次仿真遥操作演示即可生成海量多样化训练数据 [8] - 核心流程分三步：预操作阶段采用物体中心坐标系确保末端执行器精准对齐目标；操作阶段切换为本体感知坐标系解决抓取搬运难题；批量合成阶段通过随机初始化位姿自动生成数百至数千条成功轨迹 [8] - 演示采集通过Apple Vision Pro捕捉人类动作并映射到仿真机器人，记录1条成功操作轨迹 [13] - 将演示轨迹拆解为移动、预操作、操作三阶段，并通过坐标系转换实现泛化 [13] 仿真环境实验结果 - 数据量与性能呈正相关，例如PushCube任务成功率从52.4%提升至89.3%，OpenCabinet任务从18.9%提升至67.3% [14] - 算法适配灵活，在ACT、MLP、Diffusion Policy三种算法上均表现优异，其中ACT与Diffusion Policy在LiftBox任务成功率均超96% [14] 真实世界迁移验证 - 在改装后的Unitree G1机器人上实现零样本迁移，10项任务中全成功率任务如LiftBox和PressCube均实现5/5成功 [16][19] - 高稳定任务如PushCube和Handover实现4/5成功，复杂任务如GraspCube和OpenCabinet成功率超60% [19] - 迁移成功的关键在于高层策略通过视觉闭环实时调整指令，抵消仿真与真实的物理差异 [18] 行业应用价值 - 将训练成本从数百小时真实遥操作降至小时级仿真演示，大幅降低行业应用门槛 [20] - 无需任务特定设计，1套框架适配家庭搬运、工业辅助、服务交互等多场景，加速机器人从实验室到真实环境的落地 [20] - 分层架构可兼容触觉传感器、多相机感知等升级，为更复杂场景操作打下基础 [21]