大型语言模型记忆能力与上下文窗口 核心观点 - 现代大型语言模型(LLM)存在内在的「记忆缺陷」，上下文窗口有限导致难以维持长期一致性 [5][6] - 长上下文处理能力与记忆能力密切相关，但上下文窗口不等同于记忆 [11][34] - 新兴记忆管理系统借鉴操作系统架构，实现更持久的LLM记忆 [48][50][54] 上下文窗口演变 - 早期GPT-3仅支持2,048 token，近期模型如Llama 4 Scout可达1,000万token [2][4] - 上下文窗口扩展面临长度泛化、高效注意力、信息保留等挑战 [12][13][14] 记忆分类体系 - 短期记忆：当前推理可见的历史文本，用于文档问答/多轮对话 [16] - 长期记忆包含： 1) 事件记忆-记录代理操作历史 [18] 2) 语义记忆-整合外部知识与自我认知 [19] 3) 程序性记忆-系统运行机制与行为边界 [20] 提升记忆能力的技术路径 - 长上下文方法： 1) RAG实现动态知识检索，减少幻觉 [27][28] 2) 分层摘要处理超长文本但易累积错误 [31] 3) 滑动窗口推理结合次级模型整合 [32] - 记忆系统架构： 1) 固定记忆池(MemoryLLM)限制容量避免无限增长 [36][37] 2) 非固定记忆池采用键值对/隐藏向量等灵活形式 [41][42] 代表性记忆系统 - MemGPT借鉴操作系统分页机制管理虚拟内存 [50][52] - MemOS采用工业级分层架构融合Memory3技术 [52][54] - MemoryOS实现三级分层存储体系(实时/主题/个性化) [54][56] - MIRIX首创多模态多智能体记忆系统 [58][63] - Larimar受人类情景记忆启发构建分层框架 [60][64]