技术突破 - UC伯克利团队研发出VideoMimic系统，可将视频动作迁移到真实机器人，无需动作捕捉技术[1][3] - 系统已成功让宇树G1机器人模仿100多段人类动作[2] - 核心原理是从视频提取姿态和点云数据，在模拟环境中训练后迁移到实体机器人[3][17] 技术实现细节 - 工作流程包括视频到仿真环境转换、仿真训练、真实机器人部署验证三大步骤[18] - 从单目RGB视频获取人体三维姿态和稠密场景点云，通过SMPL人体模型表示[19] - 将稠密点云转换为轻量级三角网格模型以提高碰撞检测和渲染效率[21] - 训练过程分为四个渐进阶段，最终得到泛化能力强的控制策略[24][32] - 策略输入包括机器人本体感受信息、局部高度图和期望躯干运动方向[24] 应用效果 - 宇树Go1机器人已学会适应各种地形，包括跨越路肩和上下楼梯[7][9][12] - 机器人能在脚底滑动时快速反应恢复平衡避免跌倒[14] - 掌握了行走、爬楼梯、坐下、站立等多种动作[16][25] 硬件配置 - 宇树Go1机器人拥有12个自由度，配置与仿真模型相似[30] - 搭载深度相机和IMU等传感器，提供环境感知和本体感受信息[31][37] - 嵌入式计算平台支持策略模型实时推理[39] - 策略模型以50Hz频率运行，与机器人控制周期匹配[40] 研究团队 - 项目由UC伯克利团队开发，四位共同一作均为博士生[43] - 包括Arthur Allshire、Hongsuk Choi、华人学者章俊一和David McAllister[43][44][48][52] - 导师包括Pieter Abbee、Jitendra Malik等知名学者[43][44][45]