Workflow
Autonomous Machine Learning
icon
搜索文档
7B智能体仅凭9个任务训练即超越R1!上交大打造AI-for-AI新范式
机器之心· 2025-06-21 09:33
AI4AI 新范式突破 - 当前 AI 开发依赖人类专家手动调参,效率低下且成为制约 AGI 发展的关键瓶颈,AI4AI 通过让 AI 自主设计算法减少人工干预 [1] - 上海交大与上海 AI 实验室联合团队实现重大突破,仅用 7B 参数模型训练的 ML-Agent 在 9 个任务上学习后,设计能力超越 671B 参数的 Deepseek-R1 智能体 [2] - 该研究首次实现从"提示工程"到"经验学习"的范式跃迁,开创 AI 自主设计 AI 的新路径 [2][9] 传统自主机器学习的局限性 - 传统方法需要数天至数月进行模型设计和调优,效率低下 [4] - 现有基于 LLM 的智能体仍依赖人工提示词设计,形成"等待-修改-重试"的低效循环 [5] - 智能体缺乏从经验中自主学习和泛化的能力,难以摆脱对人力的依赖 [5] ML-Agent 的技术创新 - 采用在线强化学习范式,使智能体能够跨任务积累知识并持续优化决策 [7] - 开发探索增强微调技术,通过多样化专家轨迹数据集提升智能体探索能力 [14] - 提出逐步强化学习范式,重构目标函数使数据收集效率提升数倍 [15] - 设计定制化奖励模块,将复杂实验反馈转化为统一信号推动持续改进 [19] ML-Agent 的性能表现 - 在 10 个未见任务上全面超越 671B 参数的 Deepseek-R1,展现强大泛化能力 [20] - 在 cifar-10 任务上平均准确率达 68.88%,最佳达 81.45%,显著优于对比模型 [21] - 在表格数据任务 house-price 上平均 MAE 降至 20209,最佳达 18440 [21] - 在文本任务 feedback 上 MCRMSE 降至 0.5910,优于所有对比模型 [21] 行业影响与未来发展 - ML-Agent 标志着 AI 智能体从"工具执行者"向"自主学习者"的转变 [9] - 该技术大幅减少人类干预,加速 AI 算法设计迭代,为 AGI 发展奠定基础 [25] - 研究成果已纳入 MASWorks 开源社区,该社区旨在推动多智能体系统发展 [27] - 社区将在 ICML 2025 举办大语言模型多智能体专题研讨会 [28]