Workflow
Mamba2
icon
搜索文档
创智突破:AI首次自主发现106个超越人类设计的神经网络架构
机器之心· 2025-07-24 14:50
文章核心观点 - AI系统ASI-Arch实现了从“自动化优化”到“自动化创新”的范式转变,标志着AI架构设计领域的“AlphaGo时刻”[15][16][19] - 该系统在完全自主的条件下发现了106个超越人类设计的神经网络架构,证明了科学发现可以遵循缩放定律,进入工业化量产时代[2][20] - 这一突破意味着科学研究正从“人力驱动”模式转向“算力驱动”模式,是认知能力的代际革命[10][48][49] 从数学金牌到科学发现:认知复杂度的代际跃迁 - 解决IMO数学竞赛题目属于封闭性问题求解,而科学发现是开放性的长期认知过程,需要提出原创问题、设计实验、形成假设等[1][4] - ASI-Arch系统基于大模型技术构建了高度自主的多智能体研究框架,能独立完成从问题识别到结果验证的完整科研流程[5] - 系统进行了1,773次独立实验,累计消耗超过20,000 GPU小时的计算资源,其研究规模和效率远超传统人类团队[7] 突破性成果:106个超越人类的创新架构 - AI自主发现的106个线性注意力架构在多个基准测试中性能显著超越Mamba2、Gated DeltaNet等人类设计的顶尖基线模型[2][7][12] - 系统展现出超越人类认知边界的创新能力,其设计理念和优化策略连领域顶级专家也未曾考虑过[12] - 这一成果类似于围棋界的“Move 37时刻”,证明了AI在科学创新领域的超人类潜力[13] 为什么说这是AI架构设计的“AlphaGo时刻” - 传统神经架构搜索技术是在人类预设空间内进行优化,而ASI-Arch能够自主提出全新假说、实现验证并超越人类范式[15][16][18] - 这实现了从“工具”到“研究伙伴”甚至“独立研究员”的角色转变,涉足以往人类独有的创造性科学发现过程[19] - 研究首次建立了“科学发现缩放定律”,发现速度和质量与计算资源投入呈稳定缩放关系,标志科研从人力密集型转向计算密集型[20] ASI-Arch超智能如何自主进行科学研究 - 系统核心是由研究员、工程师、分析师和认知库四个模块构成的闭环进化系统[24] - 研究员负责提出架构设想,工程师进行训练评估,分析师总结实验数据,认知库存储近百篇人类顶尖论文的核心知识[25][26][27][28] - 创新性地引入Fitness Function和LLM专家评审,综合评估性能指标和创新性,避免“奖励黑客”问题[29] 实验结果解读:AI“研究员”全面超越人类顶尖模型 - 在涵盖常识推理、阅读理解等12个基准测试的综合平均得分上,AI架构全面超越了Gated DeltaNet等人类基线模型[31][34][35] - AI架构在训练损失和困惑度指标上表现更优,表明其学习效率更高,对语言规律的把握更精准[36] - 106个新SOTA架构的集体涌现证明发现能力是系统性、可复现的,AI独立演化出了巧妙的门控机制与路径融合策略[37] AI“研究员”的设计哲学:涌现出怎样的智慧 - AI设计聚焦经典组件,如门控系统和卷积架构,通过对关键技术的精妙组合实现突破,而非盲目追求新颖性[39] - 顶尖模型的设计灵感有44.8%来源于对过往实验的自我反思,表明自我探索和总结能力是产出颠覆性成果的关键[41][42] - 系统展现出“设计纪律”,模型参数量分布稳定,拒绝通过暴力堆砌复杂度来提升性能的简单策略[43] 开源贡献:推动全球AI研究民主化 - 研究团队将全部106个突破性架构、完整系统框架及研究过程数据向全球开源,促进协同发展[45] - 这一举措标志着“AI for AI research”新时代的开启,AI成为研究主体,形成自我改进的正向循环[45]