注意力机制演进背景 - 传统全注意力机制计算开销随文本长度呈平方级暴增，是限制模型处理长文档的关键瓶颈[5] - 注意力机制改进的两个主要方向是"稀疏注意力"和"线性注意力"[5] - 阿里巴巴和月之暗面在2024年9月和10月底先后开源Qwen3-Next和Kimi Linear模型，其中的注意力机制都使用了线性注意力DeltaNet和全注意力混合的方式[5] DeltaNet与线性注意力技术核心 - 线性注意力的核心思想是将自注意力中的Softmax函数移除，经过数学等价变换可重写成循环神经网络的递推形式，将复杂度从平方级降至线性[12] - DeltaNet利用Delta Rule来更快地写入和更新权重，基于2021年LSTM作者团队的论文《线性Transformer本质上是快速权重编程器》的思路[13] - 线性注意力默认使用赫布学习进行权重更新，为实现更高效的上下文检索能力可替换为更强大的Delta Rule[14] - DeltaNet在2021年被提出后不火的原因包括缺少关键架构改进和实现不够好，后续通过并行化优化使其能大规模训练[20] - Gated DeltaNet在DeltaNet基础上加衰减，可视为DeltaNet与Mamba 2的结合，保留当代架构思路同时继承更强的Delta Rule更新[21] 行业应用与厂商策略 - 阿里巴巴Qwen3-Next团队对全局注意力、混合滑窗注意力、Mamba 2和Gated DeltaNet做了对比，结果Gated DeltaNet表现最好并被采用[23] - Kimi Linear使用的KDA是Gated DeltaNet的细粒度版，将衰减从粗到细，每个channel有独立的遗忘率用于存储不同时间尺度的信息[24] - 线性注意力与全注意力混合使用的原因是线性注意力提供速度优势但容量小，全注意力提供容量优势但推理速度慢[24] - MiniMax在4560亿参数的MoE M1上使用混合线性注意力与全注意力的Lightning Attention，但在M2中又回归完全注意力，主要因混合架构在多跳推理任务上准确率下降明显[26][27][28] - DeepSeek更相信稀疏注意力，其MLA和DeepSeek-Sparse-Attention都是稀疏注意力的改进[29] 技术对比与未来潜力 - 稀疏注意力通过减少激活的KV Cache读取来加速，单层潜力更强，但当KV Cache大小本身成为瓶颈时则无能为力[30] - 线性注意力有理论缺陷因状态空间固定，但混合架构中75%的层被换成RNN后，KV Cache大小减少3/4，可支持更大批量推理[30] - 在数据受限的后训练和强化学习中，线性注意力因更关注邻近token可能表现更好，因其带有归纳偏见[31][32] - 从电路复杂度看，完全注意力属于TC⁰，而DeltaNet是NC¹-complete架构，更擅长状态追踪，这对Agentic AI至关重要[33] - 架构改进需满足两个scalable关键点：大规模训练下效率要有保证且硬件友好，模型放大后依然有效[35] 未来发展方向 - 稀疏注意力的核心趋势是动态稀疏，难点在于硬件上高效实现，现有block级和token级两条技术路线[46] - 线性注意力未来更值得探索更新规则，考虑DeltaNet外还有哪些更新方式既能更好并行实现又更具表达力[48] - 理想方向是将稀疏注意力和线性注意力结合，用稀疏注意力混线性注意力的组合替代完全注意力层，以降低KV cache规模[49] - 持续学习是重要方向，需解决如何让模型持续吸收外界信息而无需隔段时间重训，具有显著商业价值如个性化服务[50] - 测试时训练或快速权重编程允许处理新token后实时更新权重，可能解决长文本问题和实现持续学习[51]