文章核心观点 - 谷歌开源Harness²项目，实现Harness层的递归自我改进（RSI），让大模型在运行中自己给自己魔改外挂代码、系统提示词、工具链和技能库 [2][3] - GLM-5接入Harness²后，在办公基准WorkBuddy-Bench上综合得分飙升11.5分，瞬间反超原生Gemini 3.5 Flash，整个过程无需修改模型权重，只需优化其外围运行脚手架 [5][6] - 该项目已全面开源，已支持OpenCode与Codex [9] - 行业过去两年对AI的期待几乎全部押注在底座模型Scaling上，但基座模型越来越贵，边际效益在放缓，落地场景里的长尾bug依然无穷无尽 [55][56] - Harness²证明了一条新路：把规则制定的权力还给Agent自己 [61] 行业痛点：为什么自己改自己老翻车 - 过去业内为让Agent变聪明，搞过不少递归自我改进（RSI），思路是让AI自己写代码、自己改提示词、自己优化系统，但一放进真实开放世界几乎全军覆没 [10][11] - 主要卡在两道死穴上 [12] - 第一道死穴是没有标准答案：实验室里刷题有单元测试和Ground Truth，但真实打工场景写商业企划案、审法律合同，线上根本没人给打分，AI自己改了一版Prompt，它怎么知道改完是变聪明了还是在瞎编 [13][14][15] - 第二道死穴是过度拟合单次任务：为修某个任务把脚手架魔改一通，结果下一个任务换成写爬虫，之前改的规则全成了累赘，直接把改完的脚手架硬套给下一个任务，系统很快陷入噪声螺旋，越改越傻 [16][17][18] - 谷歌团队提出的Harness²就是专门冲着这两个死穴开刀的 [19] 双层递归机制：左手做实验，右手记笔记 - Harness²名字里的平方指两层互相嵌套的递归循环：任务级递归（Task-level）和改进级递归（Harnessing-level） [20] - 第一层任务级递归：在没有标准答案的情况下做对照实验，面对新任务先用初始脚手架跑一版参考轨迹，核心是看模型在执行过程中暴露出什么缺陷 [20] - 提议-探测-合成机制 [21] - Propose（提议）：由专门的编辑角色针对轨迹提出两套修改方案，一套是通用缺陷修补（Invariant），专门抓跨领域通用的毛病，比如规划混乱、工具调用死循环、上下文爆炸；另一套是领域专属修补（Domain），专门针对当前业务的特定知识和约束 [24][25] - Probe（探测）：把两套修改后的候选脚手架放回同一个任务里分别跑一遍，没有裁判没关系，系统抓取它们的执行轨迹和参考轨迹做行为对比（Behavioral Contrast），看改动到底有没有解决刚才卡住的步骤，有没有引发新的逻辑退化 [27][28] - Compose（合成）：合成器把所有执行证据摆在一起，挑出那些真正被行为证据证明有效的改动，把它们合并进最终的执行脚手架里 [29] - 支持并行扩展（Parallel Recursion），一次生成k组通用和领域候选方案，共2k个候选脚手架，并发探测后再进行k次独立合成，进一步拓宽搜索空间 [30] - 第二层改进级递归：把改脚手架的经验沉淀成元能力 [31] - 当前任务做完后，把整个调试记录（参考轨迹、候选修改、对比证据、合成决策）交给反思模块（Experience Reflector） [34] - 反思模块复盘之后，会写一份EXPERIENCE.md，把这次为什么这么改、在什么条件下起效、带来了什么后果，清清楚楚存进持续改进经验库（Harness Improvement Library） [35] - 等到下一个新任务进来时，执行端拿到的依然是一个干干净净的基础脚手架，但是负责改脚手架的改进大脑，手里已经攥着厚厚的历史经验手册，在提议和合成阶段能直接检索过往相似场景下的有效组件和避坑指南 [36][37] - 改进的不只是眼前的脚手架，更是未来改进脚手架的能力，这就把单次任务的临时修补，变成了终身学习的认知资产 [38][39] 跑分实测 - 团队上了三个极具分量的硬核职业基准：WorkBuddy-Bench涵盖代码（Code）、网页（Web）、办公套件（Office）三大高难度办公工作流；JobBench为长程端到端复杂专业岗位任务；LAB为Harvey开源的顶级法律智能体基准 [42][43] - 底座模型选了Gemini 3.5 Flash和GLM-5，执行脚手架挑了开源主流的OpenCode和Codex [44] - 在WorkBuddy-Bench测试里，仅仅进行单步Harness²改进（k=1）：GLM-5在OpenCode下综合得分从64.2狂飙到75.7，暴涨11.5分；在Codex下也从64.4飙到了75.3 [46] - Gemini 3.5 Flash在OpenCode下从72.4提升到77.5，在Codex下从74.5提升到77.5 [47] - 被优化过脚手架的GLM-5（75.7分/75.3分），直接把原版没改脚手架的Gemini 3.5 Flash（72.4分/74.5分）给干翻了 [49] - 在端到端岗位任务的JobBench上，单步改进同样带来全面提升，Gemini 3.5 Flash涨了4.5分，GLM-5涨了3.6分 [50] - 如果把并行预算拉到k=5（并发5路候选），性能还会进一步上扬：WorkBuddy-Bench最高再涨3.9分，JobBench再涨4.2分，LAB通过率再涨6.7个百分点 [51] - 经验库的跨领域迁移测试：团队把在JobBench上积累的经验库迁移到WorkBuddy-Bench，在不增加额外探测预算的情况下，辅助单步Harness改进，最终让代码、网页、办公三项得分分别再提高0.6分、0.5分和2.9分 [52] 行业意义与展望 - 过去两年，行业对AI的期待几乎全部押注在底座模型Scaling上，总觉得只要等下一代GPT出来，手头的应用问题就迎刃而解 [55] - 但现实给所有从业者泼了一盆冷水：基座模型越来越贵，边际效益在放缓，而落地场景里的长尾bug依然无穷无尽 [56] - 给模型再大的上下文窗口，它在处理跨文件对账时依然会偷懒；给它再高的跑分，它写完报告依然不会主动打开文件去校验格式 [57] - 这些东西靠预训练参数是永远喂不饱的，它需要的是一套能在运行中自我感知、自我修补、持续进化的Runtime认知工程 [58][59] - 以前搭脚手架是工程师坐在电脑前一条一条手写Prompt、配工具、修管道，累得半死还到处漏风 [60] - 现在Harness²证明了一条新路：把规则制定的权力还给Agent自己 [61] 论文作者 - 一共9位，华人浓度极高，高达78% [63] - Ruiyao Xu，论文一作兼通讯作者，美国西北大学统计与数据科学系博士生，导师为Kaize Ding，主要研究方向包括大语言模型、图机器学习、异常检测及AI Agent系统，这篇论文是其在谷歌实习期间的工作 [65][66][67][68] - Yanfei Chen，Google Cloud AI Research资深研究工程师，本科毕业于北京大学，主修电气工程与经济学，2018年获得美国匹兹堡大学工业工程博士学位，此后曾在机器学习公司Qeexo担任研究工程师，2020年加入Google，参与过Vertex AI Search、Gemini Enterprise Deep Research等项目，主要研究大语言模型智能体、检索增强生成及工具学习 [69][71][72] - Zhongying CuiZhu（Zoey CuiZhu），Google Cloud AI Research研究工程师，2019年获得斯坦福大学电气工程博士学位，主要研究通用智能体、可验证智能体及智能体质量评估 [73][75]