Workflow
上下文优化
icon
搜索文档
斯坦福新论文:微调已死,自主上下文当立
量子位· 2025-10-10 19:24
文章核心观点 - 斯坦福大学等机构的研究提出了一种名为智能体上下文工程(ACE)的新方法,该方法无需调整模型权重,仅通过优化上下文即可显著提升大型语言模型的性能[1][2][3] - ACE框架通过让上下文自主进化,解决了传统上下文适配方法存在的简洁偏置和上下文崩溃两大问题[9][10][11] - 实验证明ACE在智能体任务和财务分析任务中均稳定优于现有主流方法,并能大幅降低自适应延迟和成本[22][29][30] ACE框架与方法论 - ACE框架将上下文优化分解为三个明确分工的角色:生成器负责生成推理轨迹、反思器负责提炼经验教训、整理器负责将见解整合到结构化的上下文更新中[16][17][18][21] - 该方法将上下文视为不断演化的操作手册,能够随时间不断累积、优化并组织策略,支持多轮次适应机制以逐步强化上下文质量[13][19][20] - 更新内容被逐项分解并局部化,使得多个增量得以并行合并,从而实现大规模的批量适应[19] 性能优势与实验结果 - 在智能体测试(AppWorld)中,ReAct+ACE相比ReAct+ICL和ReAct+GEPA分别领先12.3%和11.9%,在在线场景中平均以7.6%的性能提升领先于Dynamic Cheatsheet等方法[23][24] - 在财务分析任务(FiNER和Formula)中,ACE在离线环境下以平均10.9%的优势明显超越了ICL、MIPROv2和GEPA等方法[26] - 在成本效率方面,ACE在AppWorld的离线任务中将自适应延迟降低了82.3%,并将尝试次数减少了75.1%;在FiNER的在线任务中实现了91.5%的自适应延迟降低,并在token相关费用上节省了83.6%[29][30][31] 研究团队背景 - 该项研究由两位华人学者主导,一作为斯坦福大学计算机科学系四年级博士生Qizheng Zhang[32][33] - 另一位一作Changran Hu本科毕业于清华大学,硕士毕业于加州大学伯克利分校,曾是AI音乐生成公司DeepMusic的联合创始人,并获得1000万美元投资[36]