机器之心报道 机器之心编辑部 在这届 ACL 大会上，华人团队收获颇丰。 ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它 也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 63 届，于 2025 年 7 月 27 日至 8 月 1 日在奥地利维也纳举行。 今年总投稿数创历史之最，高达 8000 多篇（去年为 4407 篇），分为主会论文和 Findings，二者的接收率分别为 20.3% 和 16.7%。 根据官方数据分析，在所有论文的第一作者中，超过半数作者来自中国（51.3%），而去年不到三成（30.6%）。紧随中国，美国作者的数量排名第二，但只占 14.0%。 今年共评选出 4 篇最佳论文，2 篇最佳社会影响力论文、3 篇最佳资源论文、3 篇最佳主题论文、26 篇杰出论文，2 篇 TACL 最佳论文、1 篇最佳 Demo 论文以及 47 篇 SAC Highlights。 以下是具体的获奖信息。 最佳论文奖 在本届4篇最佳论文中，DeepSeek（梁文锋参与撰写）团队以及北大杨耀东团队摘得 ...

长文本建模的挑战与GCA的创新 - 长文本建模面临两大核心挑战：主流LLMs的Transformers架构存在平方复杂度及显存开销线性增长问题，以及full-attention外推能力有限难以泛化到超长输入[1] - 高效处理长上下文不仅关乎工业界降本增效，更涉及AGI核心问题——构建具有永久记忆的智能体，这将成为大语言模型公司的数据护城河[1] - 蚂蚁团队提出GCA机制，模拟人类开卷考试模式，通过因果检索注意力实现端到端学习，仅关注相关历史片段，显著降低显存开销[2] GCA技术原理与架构 - GCA采用两阶段注意力机制：分组注意力收集各chunk信息，chunk-level融合通过softmax加权整合关键信息用于预测[14][15] - 架构结合GCA与滑动窗口注意力，前者负责长程检索后者处理短程信息，通过Triton kernel实现优化显存管理[15] - 与传统检索方式相比，GCA让检索分参与前向运算获得梯度，实现检索模块的端到端学习[13] 实验性能表现 - 128M模型实现1000倍长度泛化，16K预训练模型在16M上下文passkey retrieval达到100%准确率[5][17] - 训练开销随序列长度呈线性增长，推理显存接近常数且速度持平Transformers，CPU卸载策略使48K上下文显存仅增加1.62倍[17][20] - 在arXiv-math数据中展示语义级检索能力，能识别引理和变量声明的逻辑相关性[21] 行业技术对比 - 相比滑动窗口注意力牺牲长程信息、温度调节法泛化有限等现有方案，GCA突破性地实现有效利用超长上文信息[7][8] - 与DeepSeek的NSA形成技术互补：GCA侧重长度泛化，NSA优化稀疏attention，后续HSA工作融合两者优势[5] 开源与学术影响 - 技术实现已通过Triton kernel全部开源，论文被ICML 2025接收[3][11] - 尽管实验规模较小，但为机器永久记忆机制提供新思路，首次实现16M长度完美信息检索[23]

大模型注意力机制改进 - 近期DeepSeek和Kimi分别推出NSA和MoBA架构，聚焦改进大模型核心机制"注意力机制"，旨在提升长文本处理能力[4] - 注意力机制优化需解决两大瓶颈：显存开销随序列长度线性增长、计算复杂度呈平方级增长[16] - 稀疏注意力成为主流改进方向，通过仅保留关键连接提升效率，数学上Softmax机制天然支持稀疏性[16] 技术实现路径 - NSA采用硬件协同设计，在Block级别进行稀疏计算，利用Triton框架优化GPU并行效率，实现11.6倍解码加速[24][31] - MoBA创新性地在预训练阶段引入稀疏性，通过混合分块注意力保留远距离关键信息，效果超越稠密注意力[20][37] - 两种方案均采用动态稀疏机制，结合内容相关性动态选择关注区域，平衡效率与效果[38] 性能验证 - NSA在270亿参数模型训练中，损失曲线与稠密注意力趋同，推理任务表现更优[42][46] - MoBA在Llama-8B模型测试中，GSM8K数学推理得分达0.7278，优于稠密模型的0.7142[49] - 长文本专项测试显示，32K输入下末端1K词元预测损失显著降低[43] 行业应用前景 - 多模态发展将大幅增加输入长度，1小时视频相当于100万token，需开发跨模态注意力模式[55] - 长思维链生成成为RL训练关键，DeepSeek-R1显示输出长度随训练步数持续增长[26][28] - 科研场景被视为AGI重要突破口，需存储数月研究过程数据并支持复杂推理[59][62] 硬件与算法协同 - GPU显存发展滞后算力增长，B200显存仅为A100的1.2倍，迫使算法层压缩存储需求[53] - 系统层优化如FlashAttention使显存占用降低量级，算子级优化成为效率突破关键[20][35] - 未来可能结合RNN固定存储优势与注意力机制，探索存储复杂度新平衡点[53]

注意力机制优化进展 - Kimi和DeepSeek同日发布注意力机制改进成果MoBA和NSA，均针对Transformer核心组件"注意力机制"进行创新[2] - 标准全注意力机制存在计算复杂度随文本长度平方级增长的问题，成为制约长上下文能力的关键瓶颈[4] - 行业出现两大优化方向：稀疏注意力机制（如NSA/MoBA/InfLLM）和线性注意力机制（如MiniMax-01），前者侧重稳健优化，后者尝试根本性解决计算爆炸问题[5] MoBA技术演进 - 项目始于2023年5月，初始目标为支持16K长度预训练，后升级至128K需求，经历v0.5到v2三次架构迭代[6][12][16] - 关键技术突破包括：采用Online Softmax实现与全注意力机制的可对照调试、解决注意力汇聚点问题、最终形成极简单层稀疏注意力结构[13][16] - 在1M长度测试中达到与全注意力机制持平的性能指标，已部署至Kimi生产环境[20] 行业竞争格局 - 中国头部AI公司密集发布注意力机制创新：MiniMax-01采用线性注意力，面壁智能InfLLM被NSA论文引用[5] - 微软亚研院专家指出稀疏注意力与线性注意力的本质差异：前者保留复杂依赖关系捕捉能力，后者可能牺牲部分长程关联性[5] - 清华大学团队证实NSA和MoBA均采用动态注意力选择机制，相比静态方法显著提升模型性能[5] 工程实现细节 - MoBA开源代码已在GitHub发布，包含完整工程实现与技术论文，实际经过1年多线上验证[6][25] - 解码阶段对MHA效果最佳（IO优化达理论最大值），但对GQA/MQA效果递减[22] - Triton实现版本曾获得10%+性能提升，但因维护成本过高暂未持续优化[24] 研发方法论 - 采用"饱和救援"模式推进技术攻坚，整合跨团队资源进行多轮消融实验[15][19] - 通过"思过崖"机制实现快速试错与迭代，三次关键架构调整分别解决参数膨胀、训练不稳定和SFT效率问题[8][13][19] - 最终方案保留数学严谨性（支持全注意力模式对照）与工程实用性（单机/分布式兼容）的双重优势[16][20]