文章核心观点 - 截至2025年12月，机器人学习领域的主流技术栈完全基于行为克隆，其核心挑战在于处理分布外状态、任务不确定性以及动作误差累积，而超越行为克隆的强化学习等方法在真实世界应用中仍面临仿真与现实差距、高质量价值函数学习等重大障碍，行业未来发展将依赖于更高效的人类示范系统、视频模型骨干以及世界模型的进步[8][41][44][46][72][74] 2025年机器人学习栈的剖析 - 当前所有机器人学习系统本质上都是行为克隆系统，通过监督学习模仿人类提供的接近最优的任务演示，预测动作片段[8] - 行为克隆的训练数据主要来源于三种人类演示方式：主从控制方案、手持设备示范以及直接的人类示范视频[9][10] - 主从控制方案：使用控制器远程操控机器人，优点是能记录全套传感器信息且动作在运动学上可行，缺点是操作速度可能比人类直接操作慢10倍，操作员需要数周练习，且规模化数据采集成本高昂[11][12] - 手持设备示范：人类操作者手持配备低成本传感器套件的设备完成任务，通过SLAM和逆运动学重建状态，优点是操作更易上手、速度更快、部署成本更低，缺点是存在传感器噪声和域差距，且无法保证动作的动力学可行性[13][14][15][20] - 直接人类示范：利用YouTube或工厂工人佩戴摄像头记录的视频数据，优点是数据规模巨大、多样且以人类自然速度产生，缺点是在重建状态和动作时存在巨大差距，存在视角不一致和运动学不可行等问题[16][17][21] 行为克隆中的难题与解决方案 - 行为克隆策略在实际执行时会因环境微小变化、任务本身的不确定性/多模态性以及动作预测误差的递归累积而逐渐偏离，进入训练分布之外的状态[19][22][23] - 解决分布外状态性能问题的核心方法不是仅依赖专家示教数据，而是需要引入DAgger风格的方法，即训练模型学会从失败状态中恢复[28][30] - 构建有效的DAgger恢复数据是一门高度迭代的“艺术”，需要精心筛选数据以避免模型学会进入失败状态，这个过程繁琐、耗时且依赖人类的强判断力[32][33][34][35] - DAgger数据迭代通常基于预训练好的基础策略进行，投入足够精力后策略可以变得出乎意料地鲁棒，但随着鲁棒性提升，评估性能所需时间会急剧增加，且离线指标与真实性能相关性弱[36][37] - 行为克隆策略难以超越人类示范的速度，直接加速执行会给控制系统带来压力并导致物理交互错误，筛选最快示范或对速度条件化建模都无法让策略速度超过人类本身[38][39][40][42] 超越行为克隆的挑战 - 行为克隆系统受限于人类示教者提供数据的速度以及修复失败所需的大量人工投入，行业理想是发展能够自我提升、自主探索并达到超人速度的机器人系统[41][43][44][55] - 大语言模型中的强化学习成功得益于其能从完全相同的状态无限次执行以及拥有强大的基础策略，这使得在线、on-policy的强化学习可行，而机器人领域不具备这些条件[47][48][49][53] - 仿真中的强化学习：面临严重的仿真到现实差距问题，仿真器在物理建模、视觉外观等方面往往是现实世界的糟糕仿制品，完全在仿真中训练的策略迁移到真实世界时表现通常糟糕[58][59] - 真实世界中的强化学习：避免了仿真到现实的差距，但直接从策略执行中学习改进面临障碍，核心难点在于必须回答反事实问题，而机器人无法从同一状态反复尝试不同动作[63][64][65] - 学习高质量的世界模型或Q/V函数来评估反事实结果仍然是一个开放的研究问题，目前尚未有工作能很好建模灵巧操作任务关心的环境交互动力学，近期方法如优势加权回归仅展示出相较于纯行为克隆的小幅提升[60][61][68][69][70][71] 对机器人学习未来的预测与建议 - 技术预测：未来2年内，视觉语言动作模型将被视频模型骨干取代；10年内，世界模型将能很好地模拟通用开放世界交互，策略可通过在世界模型中“抽取”获得；传统仿真引擎将成为世界模型的数据生成器，但核心是端到端学习的；接近专家级的示范数据对微调世界模型仍至关重要；真实机器人执行数据仍是实现超人级性能所必需的[74] - 行业建议：人类示范将长期持续重要，构建能有效降低痛点的软硬件一体人类示范系统是极具价值的创业或合作方向[74] - 创业方向分析：数据标注是高度商品化、人力成本套利的业务，缺乏技术护城河；售卖预训练数据需要证明能提升客户模型性能，这既是运营也是技术挑战；评估对模型改进闭环至关重要，必须内部完成，无法外包；由于传感器和任务目标差异巨大，具身AGI领域不会出现通用的数据平台[74]