文章核心观点 - 截至2025年12月，机器人学习领域的主流技术栈是基于人类专家演示的纯粹行为克隆系统，但其存在分布外状态、误差累积、速度上限等固有局限 [5] - 为提升行为克隆策略的鲁棒性，行业普遍采用DAgger风格的方法，通过迭代收集失败恢复数据来修正策略，但该过程高度依赖人工、耗时且难以规模化 [26][29][31] - 强化学习被视为实现机器人自我改进的理想路径，但由于无法像大语言模型那样从同一状态无限探索，且缺乏强大的基础策略，在真实机器人应用中尚未成功 [40][41][54] - 未来突破的关键在于发展能够高质量模拟通用开放世界交互的“世界模型”，并结合专家示范与真实机器人运行数据，以实现超人性能 [58][73] 现代机器人学习技术栈剖析 - 数据收集方案：主要依赖三种方式获取人类演示数据 [7] - 主从控制方案：如GELLO、ALOHA，使用控制器直接远程操控机器人，数据运动学可行但采集速度比人类徒手慢可达10倍，且规模化成本高 [8][9][10] - 智能演示手套：如通用操作接口，人类手持设备完成任务，通过SLAM和逆运动学重建状态与动作，部署成本更低但会引入严重的域差距和运动学可行性问题 [11][12][18] - 直接人类示范：利用YouTube或工厂工人佩戴摄像头记录的数据，规模巨大且多样，但存在巨大的状态与动作重建差距，且轨迹往往在运动学上不可行 [12][13][19] 行为克隆系统的核心挑战与应对 - 根本难题：行为克隆策略在执行时会因环境微小变化、任务不确定性及动作预测误差的递归累积而逐渐偏离，进入训练分布之外的状态 [16][17][23] - 关键应对方法：采用DAgger方法，通过迭代收集策略在失败状态下的恢复数据，并将这些数据纳入训练，以将策略“拉回”到已知分布 [25][26] - DAgger的实施痛点： - 是一个高度迭代、依赖人工判断的繁琐过程，需要与各种失败模式“打地鼠” [29][31] - 通常在预训练好的基础策略上进行，但更新基础模型会清空之前迭代形成的“手感” [32] - 随着策略变鲁棒，评估其性能所需的时间急剧增加，离线指标与真实性能相关性弱 [33][34] 当前技术的能力边界与尝试 - 速度瓶颈：行为克隆策略的最理想执行速度无法超过人类示范本身，尝试对速度进行条件化建模或高频执行均效果有限或带来新问题 [36][37][47] - 强化学习的应用困境： - 与大语言模型的差异：机器人无法从同一物理状态无限次执行探索，也缺乏一个非零成功率的基础策略，使得在线强化学习不可行 [45][46][54] - 仿真中的强化学习：受限于仿真器与真实世界的巨大差距，除运动控制等特定任务外，在操作任务中收效有限 [56][57] - 真实世界中的强化学习：核心障碍是无法回答反事实问题，即比较同一状态下不同动作的后果，需要依赖难以学习的Q/V函数或世界模型来“想象” [63][65][70] - 近期进展示例：Physical Intelligence发布的pi*0.6方法使用优势加权回归变体，相比纯行为克隆仅有小幅提升，且许多任务仍依赖人工DAgger数据 [71] 对未来发展的预测与行业建议 - 技术发展预测： - 2年内：视觉语言动作模型将被视频模型骨干取代 [73] - 10年内：世界模型将能很好模拟通用开放世界交互，策略可通过在世界模型中“抽取”获得 [73] - 接近专家级的示范数据对微调世界模型仍至关重要，但实现超人性能仍需真实机器人运行数据 [73] - 创业与商业建议： - 构建能有效降低痛点的软硬件一体人类示范系统是可靠且有价值的路径 [74] - 数据标注是高度商品化的人力成本套利业务，预训练数据售卖需证明能提升模型性能，且并非所有机器人数据都有用 [75] - 评估是模型改进的关键闭环，必须在公司内部完成，无法外包 [73] - 在具身AGI领域，不可能存在通用的“一统天下”的数据平台 [73]