Workflow
隐空间长期记忆
icon
搜索文档
ICML 2025 | M+框架来了,增加LLM隐空间记忆,不再受上下文窗口限制
机器之心· 2025-07-15 11:20
本文的第一作者Yu Wang来自加州大学圣地亚哥分校,主要研究方向为Memory for LLMs and Memory for LLM Agents. 该论文于2024年在MIT-IBM Waston Lab 实习过程中完成,通讯作者Zexue He也毕业于加州大学圣地亚哥分校。 M+ 是在 MemoryLLM 之上提出的长期隐空间记忆扩展框架:通过把「过期」隐藏向量写入 CPU - 侧长期记忆池 ,再用协同检索器拉回最相关记忆,它将 8 B 级 模型的有效记忆跨度从原本 不到 20 k tokens 提升到 160 k tokens 以上 ,同时显存占用保持不变。 论文标题:M+: Extending MemoryLLM with Scalable Long-Term Memory 论文链接:https://arxiv.org/abs/2502.00592 背景:上下文 ≠ 记忆 & 现有记忆模型的缺陷 上下文窗口并不能直接等价于记忆。 GPT-4.1 之类的模型即便支持 100 万 token,也会随窗口线性升高显存与延迟,难以落地本地部署。 业界主流做法是 "Token-Level Memory": ...