进化算法
搜索文档
你的下一批科研队友,将是AI智能体!生物医学研究进入智能体驱动新阶段
生物世界· 2026-03-29 12:04
文章核心观点 - 人工智能(AI)技术,特别是大语言模型(LLM)和强化学习(RL)的进步,重新激发了人们对智能体(Agent)和代理式人工智能(Agentic AI)的兴趣,这些技术正在重塑信息检索、编程和图像生成等传统劳动密集型任务 [2] - Agentic AI 是一种新型AI架构,能让一个或多个智能体协同工作以实现共同的高层次目标,在变革生物医学研究等具有独特人类属性的活动方面展现出巨大潜力 [3] - Agentic AI 系统正在作为智能计算专家团队涌现,能够在文献综述、假设提出、数据分析和模型解释等劳动密集型任务中表现媲美人类,有望通过自主决策来加速生物医学研究 [4] - 目前,在生物医学领域,Agentic AI 仍处于早期发展阶段,相关进展大多以预印本或技术报告形式发布,但AI算法和工程技术的持续进步正在迅速拓展其能力 [6] 驱动 Agentic AI 的关键算法 - Agentic AI 的发展主要由三大算法驱动:大语言模型(LLM)、强化学习(RL)和进化算法 [9] - 大语言模型(如 GPT-5.2、Claude Opus 4.5、Gemini 3、DeepSeek-V3.2)作为 Agentic AI 的主要驱动引擎,将人类指令转化为计算操作 [13] - 强化学习用于训练和改进 Agentic AI,通过奖励机制使AI行为与人类偏好或伦理原则对齐 [13] - 进化算法受生物进化原理启发,用于优化 Agentic AI 的响应或架构设计,能发现新颖解决方案 [13] Agentic AI 的七大特征 - 构建用于生物医学研究的 Agentic AI 具有七大关键特征:推理、验证、反思、规划、工具使用、记忆和通信 [10] - 推理:从已有知识和情境信息中推导结论,模仿人类认知策略 [13] - 验证:确保推理过程和最终答案的正确性,旨在减轻大语言模型的“幻觉”问题 [13] - 反思:通过迭代的自我改进来增强推理能力,分析失败原因 [13] - 规划:将复杂任务分解为更易管理的子任务,并组织行动顺序 [13] - 工具使用:决定如何及何时使用专业工具,这是 Agentic AI 与传统 AI 的区别之一 [13] - 记忆:存储和检索情境信息或过去事件的摘要,防止遗忘关键信息 [13] - 通信:智能体之间、智能体与人类、智能体与工具之间的高效沟通,对于整体工作质量至关重要 [13] 当前 Agentic AI 在生物医学中的应用 - Agentic AI 已应用于生物医学研究的多个环节,包括文献综述、假设生成、实验设计、数据分析和端到端研究周期 [11] - 文献综述:自动化文献检索和信息提取 [13] - 假设生成:基于多轮文献检索生成并持续优化生物医学假设,评估其相关性、新颖性、可行性和意义 [13] - 实验设计:理解实验室协议和专业分析工具并设计实验 [13] - 数据分析:执行端到端的分析流程,自动化编程,或优化领域特定的计算方法 [13] - 端到端研究周期:协调多个智能体完成从目标设定到发现的全流程研究,例如,Virtual Lab 系统成功设计了新的 SARS-CoV-2 纳米抗体 [13] - Agentic AI 系统在功能基因组学、基因组编辑、药物发现、空间基因组学、蛋白组学等生物医学研究领域均有应用案例 [17] 生物医学应用中的挑战 - 数据:格式、维度和异质性带来的处理与整合困难 [20] - 隐私与安全:处理敏感患者数据时需满足高标准,防范大语言模型的数据记忆和泄露风险 [20] - 成本、能源与硬件:训练和推理的高计算成本与能源消耗 [20] - 公平性:确保模型在不同群体中性能等效,避免加剧医疗不平等 [20] - 可靠性:系统可能因架构缺陷、智能体协作不力或研究问题定义不清而失败 [20] 未来展望 - 预计 Agentic AI 将从专门的单一智能体系统向通用的多智能体系统演进 [19] - 强调了适应性自主的重要性——Agentic AI 应能有效理解何时需要就模糊或高风险任务咨询人类专家,而非追求完全自主 [19] - 社区开发与产业驱动的系统各有优劣,未来的混合协作模式可能结合双方优势 [19] - 人类研究者在设计、实施和管理 Agentic AI 方面仍将扮演不可或缺的角色,确保其科学有效性、伦理合规和负责任部署 [19]
将KV Cache预算降至1.5%!他们用进化算法把大模型内存占用砍下来了
机器之心· 2025-09-14 13:16
核心技术创新 - 提出EvolKV进化框架 仅使用完整KV cache预算的1.5%即可实现超越完整模型的性能表现 大幅降低大语言模型推理成本 [1][6][11] - 采用任务驱动的进化算法优化KV cache分配 通过下游任务性能反馈自适应调整每层缓存预算 突破传统基于规则启发式方法的局限性 [4][6][13] - 将层分组优化与黑盒进化搜索结合 在减少搜索空间的同时实现细粒度性能感知分配 支持多样化评估标准包括准确率和F1分数 [6][9][16] 性能表现 - 在Needle-in-a-Haystack基准测试中比最佳基线提升多达13% 在RULER基准测试中提升多达3.6% [11][31] - LongBench评估显示在128到2048的KV cache预算范围内持续优于所有基线 在GSM8K数学任务中128预算下比最强基线准确率提升7个百分点 [11][25] - Mistral-7B-Instruct模型在多个子数据集(MultiFieldQA-en/2WikiMultihopQA/MuSiQue等)上不仅保持完整模型竞争力 甚至在某些预算下实现超越 [22] 方法架构 - 设计缓存效率评分机制CacheScore ∈ [0,1] 通过平滑折扣函数确保方案平均预算接近目标值c 超参数λ平衡原始性能与缓存效率 [14][15] - 采用层分组策略将L个transformer层划分为J=⌈L/n_g⌉个连续组 显著降低搜索维度并优化稳定性的同时保持细粒度控制 [16] - 通过迭代进化算法逐组优化 固定已优化组参数并动态更新未优化组 最终通过比例补全机制确保总预算精确匹配目标值 [17][20] 实验结果 - 在Llama-3-8B-Instruct上TREC子集128预算时比最强基线高7.69个百分点 在GSM8K任务中512预算下达到完整模型95.7%性能 显著优于基线84.5% [23][25] - 可视化显示不同预算下KV cache分配呈非均匀模式 验证了模型不同层级在信息处理中的功能差异性 [7][27][28] - RULER基准测试表明优化策略具备强泛化能力 迁移到其他评估场景仍保持性能优势 在Mistral-7B-Instruct上提升0.99分 Llama-3-8B-Instruct提升3.6分 [31]
打破56年数学铁律!谷歌AlphaEvolve自我进化实现算法效率狂飙,堪比AlphaGo“神之一手”
量子位· 2025-05-18 10:01
核心观点 - AlphaEvolve是谷歌DeepMind联合顶尖科学家打造的通用科学人工智能,其数学能力被类比为AlphaGo的"神之一手",打破了矩阵乘法领域56年以来的效率基准[1][2] - AlphaEvolve将4x4矩阵乘法的标量乘法次数从49次降至48次,虽然数字进步小但意义重大,可应用于解决复杂数学难题、改进芯片设计、提高数据中心和AI训练效率[3][4][5] - 在谷歌内部使用中,AlphaEvolve将Gemini架构中大型矩阵乘法运算加速23%,训练时间缩短1%,FlashAttention提速32.5%[5] 技术原理 算法突破 - AlphaEvolve基于Alpha Tensor框架引入进化算法,通过迭代生成、评估和优化候选算法来探索更优解,不依赖预设经验法则而是完全自由探索[11][12] - 突破传统算法的"对称性陷阱"限制,在复数矩阵乘法搜索中发现48次乘法算法,优于Strassen递归的49次,并通过数学验证[13][14] - 在更大矩阵如5×5、6×6上未能超越现有最优解,因搜索空间爆炸且未引入对称性偏置,显示完全开放搜索与约束之间需平衡[16][17][18] 系统架构 - 核心采用进化算法框架,借鉴"适者生存"理念,对Gemini生成的代码初始种群进行适应度评估、保留优异算法并迭代优化[21][26] - 结合Gemini Flash和Pro模型,Flash快速处理数据筛选代码片段,Pro深入挖掘规律整合最优代码[23][24][25] - 自动化评估系统通过多维度指标、自动化测试和反馈迭代保障算法持续优化,评估结果用于筛选和指导后续优化方向[30][31][33][34][35][36] - 异步分布式架构实现高效并行进化,不同节点分别负责算法生成、数据优化和适用度评估[38][39][40][41] 应用与前景 - 性能直接受益于基础语言模型提升,当前采用混合模型策略,模型性能与算法发现效率呈正相关[43] - 初步实现递归自我改进,将改进算法应用于基础模型形成优化闭环,如加速Gemini训练[44] - 资源消耗高度灵活,简单问题即时解决,复杂问题如矩阵乘法需数百小时计算,系统自动匹配问题难度调整资源[45] - 未来方向包括提升自动化水平替代人类主导,保持人机协作核心[46] - 被评价为"能够催生真正新技术的技术",具有重大创新潜力[47]