Evolutionary Computation

搜索文档
AlphaEvolve: A coding agent for scientific and algorithmic discovery
Google DeepMind· 2025-05-16 00:00
报告行业投资评级 未提及相关内容 报告的核心观点 - AlphaEvolve结合了最先进的大语言模型和自动化评估指标,在进化框架内展现出强大能力,能在数学问题上取得新发现,并对计算堆栈进行实际改进 [88] - AlphaEvolve可通过不同方式处理同一问题,且能作为测试时计算代理,增强基础大语言模型的能力,未来可考虑将其增强性能融入下一代基础模型 [89][90] 根据相关目录分别进行总结 1. 引言 - 发现新知识通常是个漫长过程,虽大语言模型和智能体的发展推动了自动化,但实现全新科学或实际发现仍具挑战 [2] - AlphaEvolve是基于进化计算和大语言模型代码生成的优化代理,专注于可自动评估的科学和工程发现问题,能进化复杂代码,超越以往系统 [3][7] - 因自动化评估指标的限制,AlphaEvolve主要聚焦于数学、计算机科学和系统优化领域 [9] 2. AlphaEvolve 2.1 任务规范 - 用户需提供自动评估生成解决方案的机制,以函数形式将解决方案映射到一组标量评估指标,且这些指标通常需最大化 [13] - 用户可通过在代码中添加特殊注释标记进化块,块内代码作为初始解决方案,其余代码构成骨架 [19][20] - AlphaEvolve可通过多种方式应用于同一问题,不同抽象级别适用于不同问题 [21][22] 2.2 提示采样 - AlphaEvolve支持多种定制和提供长上下文的提示,包括显式上下文、随机格式化、渲染评估结果和元提示进化等 [23][25] 2.3 创造性生成 - AlphaEvolve利用大语言模型的能力,消化先前解决方案信息并提出改进方案,且模型性能越好,结果越佳 [24] - 要求大语言模型以特定格式提供代码修改,短代码或需完全重写时可直接输出代码块 [29][30] - AlphaEvolve采用Gemini 2.0 Flash和Gemini 2.0 Pro的组合,平衡计算吞吐量和解决方案质量 [31] 2.4 评估 - 新解决方案通过执行用户提供的评估函数进行自动评估,支持评估级联、大语言模型生成反馈和并行化评估等机制 [32] - AlphaEvolve允许优化多个用户提供的分数,有助于提高单一目标指标的结果 [33] 2.5 进化 - AlphaEvolve在进化过程中生成的解决方案存储在进化数据库中,该数据库结合了MAP elites算法和基于岛屿的种群模型 [34] 2.6 分布式管道 - AlphaEvolve是异步计算管道,由控制器、大语言模型采样器和评估节点组成,优化吞吐量以提高计算效率 [35] 3. 结果 3.1 更快的矩阵乘法 - 矩阵乘法是计算机科学的基础操作,找到低秩张量分解可开发更快的算法,但该问题极具挑战性 [38] - AlphaEvolve能开发出优于现有方法的张量分解算法,通过评估级联和特定评估方法衡量性能,改进了14种不同矩阵乘法目标的现有技术 [39][40] 3.2 解决数学问题 - AlphaEvolve可作为强大工具探索数学问题的搜索空间,在超50个数学问题中,约75%的情况重现了已知最佳构造,约20%的情况发现了更好的构造 [42][43] - AlphaEvolve通过进化启发式搜索算法而非直接进化构造本身,实现了高效的大规模探索 [50] 3.3 优化谷歌计算生态系统 - **数据中心调度**:将在线作业调度问题建模为向量装箱问题,AlphaEvolve发现的启发式函数优于生产中的函数,平均可回收0.7%的计算资源,且具有可解释性等优势 [60][61] - **Gemini内核工程**:AlphaEvolve优化矩阵乘法操作的平铺启发式,使内核平均加速23%,减少了Gemini训练时间,加速了内核优化过程 [64][67] - **硬件电路设计**:AlphaEvolve优化TPU算术电路,减少面积和功耗,其建议以Verilog语言呈现,便于硬件工程师采用 [69][70] - **直接优化编译器生成的代码**:AlphaEvolve优化了FlashAttention内核及前后处理代码,分别加速32%和15%,展示了优化编译器生成代码的能力 [73] 4. 消融实验 - 对矩阵乘法和接吻数问题进行消融实验,结果表明进化方法和提示中的上下文对AlphaEvolve的结果有显著提升作用 [74][75] 5. 相关工作 - AlphaEvolve扩展了进化或遗传编程的研究传统,与FunSearch等系统相比,具有可进化整个代码库、多目标优化和使用前沿大语言模型等优势 [76][80] - 其他相关工作包括使用大语言模型引导进化的各种方法,但AlphaEvolve在规模、灵活性和通用性方面有所不同 [81] 6. 讨论 - AlphaEvolve结合大语言模型和自动化评估指标的进化框架具有强大能力,但主要处理可自动评估的问题,未来可与其他方法结合处理更广泛的问题 [88][92]