文章核心观点 - 机器人执行能力持续增强，但数据采集、失败诊断、训练方案调整与部署决策仍主要依赖研究者与工程师，机器人如何持续改进仍是由人主导的工作 [1] - 自我改进智能体研究提供新思路，系统可根据反馈修改代码、积累经验或更新模型，但通常沿用预先设定的改进流程，模型和技能在更新而产出与筛选更新的方法保持不变 [1] - 递归自我改进进一步关注改进流程本身能否从经验中更新，使后续学习更加有效；进入物理世界后面临观测不完整且带噪声、失败原因难判断、验证需反复试验并伴随环境复位与硬件损耗等困难 [1] - 论文《Who Improves the Robot? Toward Physical Recursive Self-Improvement》将任务能力更新与改进流程更新纳入统一框架，区分“机器人做得更好了”与“机器人改进自己的方法变得更有效了” [3] - 论文由上海交通大学、加州大学伯克利分校、斯坦福大学、麻省理工大学、谷歌、微软、英伟达和小米等机构研究者合作完成，通讯作者为上海交通大学顾尚定和张伟楠以及慕尼黑工大冯骞 [3] - 长远愿景是机器人能够在无人干预下，于现实物理环境充满多样且不可预见挑战中自主运行并持续自我改进演化，最终实现 Physical RSI [10] 核心贡献 - 建立理解 Physical RSI 的统一框架，给出 Physical RSI 定义与 L0–L5 分级，从“更新的是任务能力还是改进流程”和“收益局限于同一任务还是能够跨任务迁移”两个维度提供共同分析框架 [7] - 梳理从能力更新到改进流程演化的全链路实现路径，围绕 Harness 适应与模型训练分析记忆、技能、工作流及训练方法如何影响任务执行和后续改进，并将安全控制与更新验证纳入同一分析 [7] - 明确检验递归增益所需的证据，在相同初始系统、经验和资源预算下通过独立跨任务评估比较新旧改进流程产生的后续收益，识别现有研究证据缺口，使“越学越会学”成为可检验的研究命题 [7] Physical RSI 基本框架 - Physical RSI 关注机器人能否利用自身物理交互经验持续更新任务运行系统和改进流程并获得递归性收益 [9] - 流程分为内外两大部分：与外部环境交互的任务运行系统，包括交互运行中使用的模型以及模型之外的提示、记忆、技能和控制代码等 Harness；系统内部的改进流程，负责改进运行系统和改进流程本身 [9] - 主要改进循环从任务运行系统完成一次物理交互、获得交互证据和系统内部组件信号开始，改进流程据此提出修改策略候选，验证器验证并应用候选，独立评估器评估更新后系统的增益，证明新流程能在相同条件下带来更好的后续改进 [9] L0–L5 定级 - L0：没有自主产生并保留更新，只在每次任务执行过程中重新规划，或改进依赖人工干预 [13] - L1：自主更新任务执行系统，在同一任务上获得收益，改进流程保持固定 [13] - L2：自主更新改进流程本身，在同一任务上获得收益 [13] - L3：自主更新任务执行系统，带来跨任务收益，改进流程保持固定 [13] - L4：自主更新改进流程本身，带来跨任务收益 [13] - L5：在 L4 基础上通过独立、受控的比较，证实连续更新的新流程比上一版本带来更好的后续跨任务收益 [13] 当前研究进展：Harness adaptation - 模型外围的系统资源也能成为改进对象，执行反馈被用于诊断失败、更新记忆、技能和工作流，有效修改被保留，修改记录支持后续诊断与方案选择 [17] - 近期研究开始进一步调整生成这些更新的方法，包括诊断指导、记忆构建策略和搜索程序，为将改进方法本身的演化引入物理场景提供参考 [17] 当前研究进展：Model Training - 数据收集、模型更新和再次执行连接成训练闭环，持续将物理交互数据转化为后续改进 [20] - 部分工作进一步将训练机制本身作为改进对象；数据准备方面已有研究根据学习效果调整数据配比、仿真分布或采样策略，把物理反馈的作用从模型参数更新延伸到数据准备和训练方法调整 [20] 当前研究进展：Safety - 最终策略通过安全测试不能说明此前探索没有风险，安全强化学习已为探索过程提供约束，安全迁移研究明确了保障沿用的条件 [23] - 现有进展主要针对特定组件和场景，如何在改进流程自身演化时维持安全保障并评估学习过程中反复试验带来的风险，仍是 Physical RSI 面临的关键问题 [23] 当前研究进展：Verification - 代码能运行只是第一关，修改是否修复原先失败需通过重新执行判断，共享技能发生变化也需回测此前成功的任务 [26] - 内部验证决定哪些更新被保留，外部独立评估器检验实际收益；若验证器本身被修改，则需由外部独立评估器判断新版本效果，避免系统逐渐放宽自己的验收标准 [26] Benchmark 现状 - 具身基准方面，Meta-World、RLBench、robosuite、robomimic、CALVIN、LIBERO、VIMA-Bench、BEHAVIOR-1K、ManiSkill3、VLABench、RoboTwin、EmbodiedBench、RoboCasa365 等提供任务学习、性能与泛化测试 [27] - 鲁棒性与物理世界评估方面，代表性资源包括 SIMPLER、THE COLOSSEUM、LIBERO-PRO、LIBERO-Plus、REALM、RoboArena、RoboDojo、VLA-Arena、RoboTwin 2.0 [27] - 反馈与评估可靠性方面，代表性资源包括 WorldEval、FailBench、RoboRewardBench、dWorldEval、SC3-Eval、RBM-EVAL [27] - 机器人工程与开发方面，代表性资源包括 CaP-Bench（CaP-X）、RoboCoach-Bench、RLE-Bench [27] - RSI 相关基准（主要为数字环境）包括 MLAgentBench、MLGym-Bench、MLRC-Bench、RE-Bench、AI4AI-Bench、RSIBench-Data、RSI-Exam、RSIGym [27] - RoboDojo 等具身基准提供任务表现和泛化测试，AI4AI-Bench 等主要在数字环境考察方法或数据策略更新；论文指出联合评估 Physical RSI 的基准仍然缺位，尤其缺少对改进流程递归增益的直接检验 [27] 挑战与未来展望 - 从不确定的物理经验中学习：如何提取可靠的学习信号，避免错误反馈随着改进机制继承而不断放大 [29] - Harness 组件间的因果归因：如何在有限物理试验中找准修改对象并分清每次修改的实际作用 [29] - 改进闭环的非平稳性：在系统、环境和已有能力变化时，过去有效的修改和改进策略是否仍然有效 [32] - 奖励投机与评估泄漏：如何防止系统利用漏洞获得高分并保持评估独立性，让结果反映真实物理能力 [32] - 递归更新中的安全保持：如何在改进流程变化时维持安全保障并控制多轮试验的累积风险 [32] - 递归增益的基准评测：后继系统表现更好是因为数据更多、起点更强，还是改进机制更新带来的收益 [32] 结语要点 - Physical RSI 将机器人自主性从任务执行延伸到能力与改进方法的持续更新，L0–L5 框架梳理现有进展并指出关键缺口：任务表现提升尚不足以证明改进流程本身变得更有效 [30] - 继续向前需要可靠的物理反馈、对修改作用的清晰归因，以及在系统和环境变化后仍然有效的安全保障，目标是让机器人在面对新任务与挑战时安全积累能力并不断改善自身学习方法 [30]