DemoHLM
搜索文档
北大等团队用“分层小脑+仿真分身”让G1零样本上岗
具身智能之心· 2025-11-15 00:03
编辑丨 量子位 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区: 具身智能之心知识星球(戳我) ,这里包含所有你想要的! 近日,来自北京大学与BeingBeyond的研究团队提出 DemoHLM 框架,为人形机器人移动操作(loco-manipulation)领域提供一种新思 路——仅需1次仿真环境中的人类演示,即可自动生成海量训练数据,实现真实人形机器人在多任务场景下的泛化操作,有效解决了传统方 法依赖硬编码、真实数据成本高、跨场景泛化差的核心痛点。 DemoHLM的核心创新在于"分层控制+单演示数据生成"双引擎,既保证了全身运动的稳定性,又实现了极低数据成本下的泛化学习。 分层控制架构:兼顾灵活性与稳定性 DemoHLM采用"低层全身控制器+高层操作策略"的分层设计,解耦"运动控制"与"任务决策": 此外,团队为机器人设计了 2DoF主动颈部+RGBD相机 (Intel RealSense D435),通过比例控制器实现"视觉追踪稳定",模仿人类操作 时的视线调节能力,避免物体遮挡导致的感知失效。 核心挑战:人 ...
只演示一次,机器人就会干活了?北大&BeingBeyond联合团队用“分层小脑+仿真分身”让G1零样本上岗
36氪· 2025-11-14 10:36
核心观点 - 研究团队提出DemoHLM框架,通过仅需1次仿真环境中的人类演示即可自动生成海量训练数据,解决了人形机器人移动操作领域依赖硬编码、真实数据成本高、跨场景泛化差的核心痛点 [1] 技术挑战 - 人形机器人移动操作长期受限于数据效率低、任务泛化差以及Sim-to-Real迁移难三大难题 [3][6] - 传统方案或局限于仿真,或需消耗数百小时真实遥操作数据,难以满足复杂场景的实用需求 [3] 框架创新 - DemoHLM采用“分层控制+单演示数据生成”双引擎设计,兼顾全身运动稳定性与极低数据成本下的泛化学习 [7] - 分层控制架构解耦运动控制与任务决策,包含低层全身控制器(运行频率50Hz)和高层操作策略(运行频率10Hz) [8][12] - 单演示数据生成技术可将1次仿真遥操作演示转化为数百至数千条成功轨迹,实现完全自动化的数据生成流程 [9] 实验验证 - 在仿真与真实Unitree G1机器人上对10项移动操作任务进行验证,数据量从100条增至5000条时任务成功率显著提升,例如“PushCube”成功率从52.4%升至89.3%,“OpenCabinet”从18.9%升至67.3% [10][15] - 框架兼容ACT、Diffusion Policy等多种行为克隆算法,在“LiftBox”任务中成功率均超96% [15] - 真实环境中实现零样本迁移,全成功率任务如“LiftBox”达5/5成功,复杂任务如“OpenCabinet”成功率超60% [16] 行业价值 - 将训练成本从“数百小时真实遥操作”降至“小时级仿真演示”,大幅降低行业应用门槛 [22] - 无需任务特定设计,1套框架适配家庭搬运、工业辅助等多场景,加速机器人从实验室到真实环境的落地 [22] - 分层架构为兼容触觉传感器、多相机感知等升级奠定基础,支持未来更复杂场景的应用 [22]