该工作第一作者为蚂蚁技术研究院副研究员胡翔，蚂蚁技术研究院高级研究员武威为通讯作者。 在大语言模型如火如荼的当下，长文本建模仍然是一个极具挑战的问题。纠其根源，一方面在于主流 LLMs 的架构 Transformers 中平方复杂度及随序列长度线性增 长的推理阶段显存开销；另一方面在于 full-attention 有限的外推能力，难以泛化到远超预训练阶段长度的输入。 而高效处理长上下文能力，除了简单的工业界降本增效的需求外，还涉及通用人工智能 (AGI) 的核心问题：具有永久记忆的智能体。如果将人类从出生开始接收 到的信息视作长上下文，人类拥有记忆无非是访问这些上下文。因此记忆可以看作是超长上下文访问能力，而拥有与用户所有对话记忆的智能体，很可能为大语 言模型公司构建数据护城河 (事实上，OpenAI 已经开放了类似能力)。 近日，蚂蚁的研究团队为这个问题带来了一个新思路。就像人类开卷考试只会挑和当前问题相关的关键页作为参考，语言模型也可以只关注与当前上下文相关的 过去片段。以此为出发点，他们提出一种 基于因果检索的注意力机制 GCA (Grouped Cross Attention)，完全端到端地学习如何 ...

琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制（CCA-Attention），实现超长文本的高效上下文建模。在 128K 超长序列上下文建模任 务中，CCA-Attention 的推理速度是标准自注意力机制的 7.9 倍，同时键值缓存（KV Cache）显存占用减少 93%，性能全面优于现有高效注意力方法。 该成果已被 ICML 2025 接收，最早于 2024 年 12 月 17 日提交至 ArXiv，早于 DeepSeek NSA 和 Kimi MoBA 公开。CCA-Attention 不仅速度快、 资源占用低，更在上下文建模的精准度和效率上树立了新标杆，为长文本处理注入全新动力。 引言 近期研究 [1, 2, 3] 发现，LLMs 中的大多数层的注意力权重主要集中在少数 token 上，表现出显著的稀疏性（见图 1）。这一发现启示我们可以借助这种 稀疏特性，降低注意力机制的计算复杂度。 图 1： LLaMA2-7B 模型中注意力权重的可视化，阴影越深表示注意力权重越高。最后一个 token 仅对上下文少数几个 token 有着较高的注意力权重，即注意力权重具有 显著的稀疏性 。 现有稀疏注意 ...