Workflow
Evo 2
icon
搜索文档
注意力机制大变革?Bengio团队找到了一种超越Transformer的硬件对齐方案
机器之心· 2026-01-07 13:16
文章核心观点 - 一篇学术研究提出了一种名为“滑动窗口循环”的新方法,通过硬件对齐的矩阵运算来优化线性递归模型,旨在解决大语言模型在处理长序列时面临的“内存墙”和计算效率问题,并在实验中展现出显著的训练速度与模型质量提升 [1][31][32] 研究背景与挑战 - Transformer模型虽占主导,但线性递归或状态空间模型等竞争者旨在提升计算性能和效率 [1] - 现有线性递归方法在GPU上的实际表现受限于内存带宽和全局同步带来的高昂通信成本,未能充分发挥硬件潜力 [1][4][6] - 数据移动导致的瓶颈是长文本大模型训练和推理中亟待解决的“内存墙”问题 [7] 核心解决方案:滑动窗口循环与B2P算法 - 研究核心是提出了“滑动窗口循环”(SWR),通过策略性截断计算视界来换取高吞吐量,其锯齿状窗口结构能自然对齐硬件工作负载 [11] - 开发了“块两步”(B2P)算法及对应的CUDA内核,将计算分为两个阶段:线程束并行处理本地块,再利用共享内存在相邻块间传递状态并进行低秩补偿 [14][15] - 该设计确保输入数据只需从显存读取一次,中间通信发生在芯片内部,实现了接近恒定的O(1)算法深度和极佳的硬件利用率 [15] Phalanx层设计与性能 - 基于B2P算法设计了名为Phalanx的新型计算层,可作为滑动窗口注意力或线性递归层的替代品 [20] - Phalanx层参数化极简,通过Sigmoid函数保证递归系数在稳定区间内,并采用基于头的参数共享模式,与Tensor Core的计算模型契合 [20][22] - 在1.3B参数模型的测试中,Phalanx+Attention混合模型在4K到32K上下文长度间,实现了10%到40%的端到端训练提速 [23][24] - 在模型精度上,Phalanx在1:1混合比下达到10.85的困惑度,优于Transformer++基准的10.95 [25][26] - 在8K上下文训练中,Phalanx混合模型比传统的SWA/Attention混合架构快28%,在短序列下也比纯注意力模型提升10%的训练吞吐量 [28] 行业意义 - 该研究为下一代长文本模型架构指明方向:真正的效率提升源于对底层计算硬件物理特性的深刻理解与对齐,而不仅仅是算法复杂度降低 [31] - 随着LLM向超大规模上下文演进,这种硬件感知的算子设计将成为构建更强大AI系统的核心基石 [33]
图数室丨回看2025,AI那些“封神”瞬间
新浪财经· 2025-12-26 17:28
行业核心观点 - 2025年是人工智能从实验室概念大规模落地到现实应用、走入亿万人生活的“全民AI元年”,AI从“看起来很聪明”转变为“真正开始接管现实世界” [2] 大模型技术突破与迭代 - 深度求索(DeepSeek)于1月20日推出新一代大模型R1,给全球AI界带来“地震” [4] - DeepSeek在5月29日完成R1模型的小版本升级,模型的思维深度与推理能力显著提升 [8] - 深度求索发布新模型DeepSeek-Math-V2,这是全球首个以开源形式达到国际奥林匹克数学竞赛金牌水平的数学推理大模型 [12] - OpenAI于3月25日正式推出基于GPT-4o模型的原生图像生成功能 [6] - OpenAI于8月7日正式发布GPT-5系列模型 [8] - OpenAI于11月13日发布GPT-5.1系列模型,包括即时版和思考版 [12] - 谷歌于3月25日发布号称最强推理模型的Gemini 2.5 Pro [6] - 谷歌于11月18日发布Gemini 3 Pro,可同时处理文本、图像和音频,支持生成杂志风格的可浏览页面或定制化动态布局界面 [12] - Anthropic于5月22日正式推出Claude 4系列大模型 [8] - xAI于2月17日发布最新人工智能模型Grok 3 [6] - 字节跳动旗下火山引擎于10月16日发布新版豆包大模型1.6更新版,成为国内首个支持“分档调节思考长度”的模型 [8] - 截至7月,中国已有433款大模型完成备案并上线 [8] AI智能体与操作系统 - Manus于3月6日正式发布,被广泛认为是首个“真正意义上的通用AI Agent” [6] - OpenAI于7月18日推出全新智能体产品“ChatGPT Agent” [8] - 字节跳动于12月1日发布豆包手机助手技术预览版,开始探路“AI操作手机” [10] 机器人技术发展 - 宇树科技Unitree H1“福兮”机器人于1月28日在春晚舞台上身着喜庆花袄大秀秧歌技艺 [6] - 4月13日,北京举行全球首个人形机器人半程马拉松赛,人形机器人“天工”以2小时40分42秒的成绩夺冠 [6] - 6月7日,2025智源大会召开,人形机器人量产成为现实 [8] AI应用与产品落地 - Perplexity于7月9日推出Comet,一款原生AI网络浏览器,集成搜索与助手功能 [8] - AI音乐生成模型Suno V5发布,将AI音乐生成质量提升至录音室级别 [10] - OpenAI于9月20日正式发布Sora 2 [8] - 特斯拉于6月27日成功完成了Model Y汽车首次“全自动驾驶交付” [8][9] 基础设施与前沿项目 - OpenAI、甲骨文、日本软银于9月23日联合宣布,联手打造的“星际之门”项目将在美国新建5个AI数据中心 [8] - 谷歌公司于11月5日首次公开“太阳捕手”计划,试图打造基于太空的机器学习“数据中心” [12] 行业监管与法律 - 欧盟《人工智能法案》于8月正式生效,成为全球首个系统性的AI监管框架 [8] - 4月17日,全国首例涉及AI模型结构和参数保护的案件正式生效 [6] 跨学科研究 - 美国弧形研究所、英伟达、斯坦福大学等机构的科研人员于2月19日共同开发的AI生物学模型Evo 2正式发布 [6]
世界首个AI设计的病毒诞生,能够感染并杀死耐药细菌,人类达成AI生成生命的里程碑!
生物世界· 2025-09-20 11:05
AI生成生物学领域的重大突破 - 世界首个由AI设计的病毒(噬菌体)诞生,其能够感染并杀死耐药细菌,展示了AI在设计用于治疗细菌感染的生物技术工具和疗法方面的潜力[3] - 该研究于2025年9月17日发布在预印本平台bioRxiv上,论文题为“Generative design of novel bacteriophages with genome language models”[3] - 这是AI系统首次能够编写连贯的基因组规模序列,下一步将是AI生成生命[6] 核心技术:Evo基因组语言模型 - 研究团队使用其开发的Evo 1和Evo 2两款AI模型进行设计[7] - Evo 1是在原核生物和噬菌体的基因组上训练的,是首个能在全基因组规模上以单核苷酸分辨率预测和生成DNA序列的AI模型,能够生成长度超过百万碱基对的序列[7] - Evo 2将训练数据扩展到生命的所有域,使用了12.8万个全基因组和宏基因组数据的**9.3万亿个核苷酸**,训练参数高达**400亿**,能够从头生成线粒体、细菌及酵母整个染色体序列[7] - 在本次研究前,Evo 1和Evo 2模型已基于超过**200万个噬菌体基因组**进行了训练[11] 研究设计与实验过程 - 研究选择噬菌体ΦX174作为设计模板,其基因组由**5386个核苷酸**组成,编码**11个基因**,是首个被完整测序和人工合成完整基因组的病毒[8][9] - 团队利用监督学习方法进一步训练模型,以生成能感染大肠杆菌(尤其是耐药菌株)的ΦX174样病毒基因组[11] - 从AI生成的数千个序列中筛选出**302种**可行的候选噬菌体进行DNA合成和实验测试[11] - 在302种AI设计的噬菌体中,有**16种**能够自我复制并特异性感染大肠杆菌,这些噬菌体组合能够感染并杀死三种不同的大肠杆菌菌株,而野生型ΦX174无法做到[11] 研究成果与创新性 - 成功生成的16个有功能基因组中,每个基因组与最近的天然基因组相比,含有**67-392个**新的突变[12] - 其中,Evo-Φ2147具有**392个**突变,与噬菌体NC51的平均核苷酸同源性为**93.0%**,按照某些分类学阈值可被视为一个新物种[12] - 有**13个**基因组包含的突变在任何已知的天然序列中都找不到,表明AI能够使用自然进化所未采样的序列[12] - 该策略能够补充现有噬菌体疗法,有望将噬菌体疗法从一个反复试验的过程转变为一种系统性方法,以领先于细菌进化[15] 应用前景与安全性 - 该方法有望用于安全地生成AI设计的噬菌体,以治疗包括日益严重的细菌耐药性在内的各种疾病和公共卫生问题[15] - 利用AI可以直接生成多样化的噬菌体,从而大大降低细菌全面产生抗性的可能性[15] - 论文作者强调,Evo模型的训练数据已排除影响真核生物(包括人类)的病毒,且研究中使用的模板ΦX174及大肠杆菌宿主系统是无害的,有长期安全使用记录[14]