大模型记忆
搜索文档
陈天桥邓亚峰联手破解大模型记忆难题!4个月打造SOTA系统,悬赏8万美元发起全球记忆挑战赛
量子位· 2026-02-05 14:01
行业技术趋势 - 2026年初,全球AI圈集体押注“大模型记忆”技术,将其视为技术风口和皇冠明珠[3] - 几乎所有主流大模型团队都在积极为模型增加记忆功能[4] - 行业共识认为,智能发展已进入比拼长期记忆的下半场,长期记忆是下一代AI应具备的核心能力[69] 现有技术瓶颈与方案 - 当前基于Transformer架构的大模型受限于有限的上下文窗口和物理内存,存在记忆断裂问题,长文本信息会被截断遗忘[14][17] - 随着对话变长,KV Cache占用显存膨胀,影响推理效率,现有技术压缩旧记忆会导致细节模糊[17] - 学术界提出三种主要技术方案:基于外部存储的记忆(如RAG)、基于模型参数的记忆(如DeepSeek所用)、基于隐状态的记忆[19][22][23] - 业界广泛使用的RAG方案存在明显缺点:破坏信息连贯性、时序匹配不足、知识更新成本高昂[26] EverMind公司及其产品EverMemOS - EverMind是由陈天桥和邓亚峰带领的团队[5] - 公司最新发布了世界级长期记忆系统EverMemOS,发布即达到SOTA(State-of-the-Art)水平[6] - EverMemOS项目于2025年8月正式启动,同年11月发布开源版本,从立项到开源仅用时四个月[11][30] - 产品定位为AI记忆基础设施,旨在成为通向下一代人工智能的基础设施——长期记忆系统(Long Term Memory OS)[31][67] EverMemOS的技术原理与特点 - 技术路径独特,融合了基于外部存储和基于隐状态两种记忆方案[33] - 核心思路是“生物启发”,模拟人类大脑的记忆机制[36] - 记忆处理分为三阶段:1) 情景轨迹构建(对应海马体和内嗅皮层),将对话拆分为记忆单元(MemCell);2) 语义整合(对应新皮层),将相关记忆单元归类形成主题化记忆场景(MemScene)并更新用户画像;3) 重构式回忆(对应前额叶与海马体协同),进行智能检索[38][39][40][41] - 系统赋予智能体一个活的、不断演化的历史,实现认知系统的深度整合,并能在多个Agent间高效传递信息[34][41] - 产品设计直接挑战最难的多对多协作场景,而非基础的1v1人机对话[66] EverMemOS的性能表现 - 在多个主流记忆基准测试中全面超越现有记忆系统和全上下文模型[44] - 在GPT-4o-mini模型基础上测试:在Single Hop任务准确率达91.08%(较基线提升13.4%),Multi Hop任务达86.17%(提升119.7%),Temporal任务达81.93%(提升110.0%),Open Domain任务达66.67%(提升10.0%),整体准确率(Overall)达86.76%(提升17.0%)[45] - 在GPT-4.1-mini模型基础上测试:整体准确率(Overall)达93.05%(提升19.2%),其中Multi Hop任务准确率达91.84%(提升112.1%),Temporal任务达89.72%(提升116.1%)[45] - 在多会话对话评估LongMemEval中,以83%的准确率位居榜首[46] - 在操作级幻觉评估基准HaluMem上,显著改善了幻觉现象[46] - 在PersonaMem v2的九个复杂场景中保持最佳,保证了深度个性化和行为一致性[47] - 系统运行速度快、成本低,最长可突破百兆上下文限制[49] 产品化与生态建设 - 公司采取开源与云服务并行的策略,技术代码全部开源,并上线了EverMemOS Cloud云服务[10][52] - 云服务提供简单API调用,可实现记忆摄入、记忆检索、记忆搜索、对话元数据管理等功能[53][55][56] - 公司联手OpenAI等十多个技术社区发起“首届记忆起源大赛(Memory Genesis Competition 2026)”,总奖金池高达8万美元[12][63] - 大赛分为三大赛道:1) 记忆+智能体(奖金5000美元/人,共5名);2) 平台插件(奖金3000美元/人,共7名);3) 操作系统基础设施(奖金3000美元/人,共3名),另设总冠军(额外1万美元)等特别奖项[61][62][63] - 比赛旨在扩大技术影响力、吸纳人才、反哺研发,并构建覆盖应用层、中间层、基础设施的可循环应用生态[67] 公司战略与行业定位 - EverMind由盛大孵化,公司试图用EverMemOS重新定义大模型记忆的技术路线[66][73] - 公司不满足于成为RAG工具或向量数据库,志在成为大模型记忆的书写者,定义记忆的创建、组织、检索和演化方式[67][68] - 公司已开始构造一整套混合解决方案,底层是信息处理模块,上层在强化学习驱动下通过调用模型参数使用信息[66] - 在模型能力同质化背景下,高性能记忆系统被视为智能体拉开差距、留住用户的护城河[70] - 公司借鉴盛大在互联网时代的平台生态经验,旨在成为AI记忆生态的缔造者[72]
大模型的“健忘症”有药了
虎嗅APP· 2025-12-01 21:21
大模型行业的“健忘症”瓶颈 - 行业一度陷入长上下文窗口的军备竞赛,从8k Token发展到追求百万乃至千万级窗口,期望模型能记住一切[3] - 但在实际商业场景中,如电商客服,即便接入顶流模型,对话超过十几轮后,AI仍会出现“健忘”,例如忘记用户的海鲜过敏史或早期提到的预算[4] - 技术原理上,Transformer架构的注意力机制在处理超长序列时存在严重衰减,导致“近因效应”,早期信息被后续对话稀释[5] - 为维持记忆,开发者需反复将历史对话打包重新输入模型,导致Token消耗快速增长,成本高昂[5] - 在多智能体复杂任务中,由于缺乏共享的长期记忆机制,不同AI智能体(如销售、客服、售后)之间信息割裂,导致决策冲突和服务混乱[6][7] - 当前技术框架下,企业投入大模型获得的智能体如同需要反复重申指令的“实习生”,存在成本高、易遗忘、协作割裂三大问题[7] “红熊AI”的解决方案:记忆熊 - 红熊AI于2024年11月开始研发,2025年11月正式对外发布“记忆熊”产品,旨在将“记忆”构建为可管理、可共享、可追溯的基础设施[10] - 其底层逻辑并非“记住更多”,而是“记住更有价值的信息”,借鉴人类记忆机制,将数据转化为信息、知识,最终形成可指导行为的记忆[11] - 系统模拟人类大脑记忆机制,构建分层记忆系统:“数字海马体”负责信息加工编码,“数字皮层”长期存储知识,“数字杏仁核”绑定情绪[14] - 具体包括:短期工作记忆(用于任务连接,通过情感倾向加权算法识别高优先级数据)、长期显性记忆(对应知识库)、以及隐性记忆(存储用户偏好、企业“暗知识”)[14] - 记忆由独立的“记忆模块”存储管理,而非固化于大模型参数中,系统通过记忆萃取引擎决定信息的保留、遗忘与调用时机[14] - 2025年11月30日,红熊AI将记忆熊产品完全开源[28] 记忆熊的核心技术优势与效果 - 构建记忆图谱,以结构化方式表达记忆内容,挖掘其相互关系,赋予AI联想与多跳推理能力,使信息更连贯、推理更准确[17] - 打通平台,让智能体共用同一套用户记忆,智能体群控记忆共享率达到99.99%,基本消除因记忆不同步导致的服务问题[17] - 通过记忆分层存储机制,压缩短期记忆为长期记忆摘要,使多轮对话累计的Token消耗降低90%,实现成本断崖式下降[17] - 使用动态语境校准和智能语义剪枝技术,将垂直场景的幻觉率压低到0.2%以下,端到端回应准确率达到99.6%[18] - 在复杂逻辑的多跳推理和时序记忆上表现领先,具备区分过去与现在的时间感[18] - 基于向量的非图谱版本,将搜索请求的中位响应时间(P50)控制在0.137秒;语音交互场景下应答延迟仅0.8秒,提升交互流畅度[18] 记忆的商业价值与行业影响 - 记忆的突破将重塑商业形态,使AI首次具备回答“我是谁”、“在与谁沟通”、“之前达成过什么共识”的能力,从而进入高信任度场景[21][22] - 记忆熊产品主线包括:隐性记忆显性化、记忆结构化处理、记忆场景化应用,旨在将交互沉淀为组织记忆[22] - 能够将企业依赖个人经验的“暗知识”(如金牌销售技巧、资深技工经验)结构化沉淀,转化为组织记忆,构筑企业护城河[22] - 通过“语义剪枝+记忆锚定+情境校准”机制,帮助大模型只保留与用户身份、历史行为及任务目标相关的核心记忆,解决内容越多成本越高、遗忘越快、幻觉越多的问题[22] - 将记忆变为组织资产,提升多智能体协同工作中的记忆共享率,是模型协同的关键[22] - 推动记忆从技术功能拓展为商业基础设施,标志AI从工具进入体系阶段[23] - 参数规模的竞争终将结束,记忆可能成为真正的操作系统级入口,AI的下一场竞争焦点是“谁更记得住”[25] - 记忆是通往通用人工智能(AGI)的必由之路,当前大模型在逻辑推理、长期规划和自我进化上的进步空间,根源在于缺乏稳定、连续且可塑的记忆系统[26]
强化学习+大模型记忆:Mem-α,让智能体第一次学会“如何记忆”
机器之心· 2025-11-07 15:17
文章核心观点 - 大语言模型的“记忆”能力是实现长期智能的关键,但现有方案存在成本高、依赖人工规则等瓶颈 [2] - Mem-α 是首个将强化学习引入大模型记忆管理体系的方案,使模型能自主学习记忆的存储、更新和组织策略 [2] - 该方法将记忆构建转化为序列决策问题,通过端到端优化实现高效记忆管理,在性能、效率和泛化能力上均显著超越现有基线 [9][22][24] 技术方案与架构 - Mem-α 采用三层记忆架构:核心记忆(用户身份/目标)、情景记忆(时间线事件)、语义记忆(结构化知识) [15][19] - 通过强化学习优化记忆策略,奖励函数包含问答准确率、工具调用格式、记忆压缩和内容有效性四个维度 [12][13] - 训练数据集基于MemoryAgentBench构建,涵盖精确检索、测试时学习和长期理解三个维度 [17] 性能表现与实验结果 - 在验证集上,Mem-α平均性能达0.642,显著高于Long-Context(0.588)和RAG-Top2(0.567) [20] - 在测试集上,Mem-α-4B平均性能达0.592,优于Long-Context(0.461)和RAG-Top2(0.502) [21] - 记忆占用减少近50%,在BookSum任务中记忆使用仅2.2K,远低于Long-Context的15.4K [20][22] - 具备极强长度外推能力,训练仅用<30K tokens样本,可稳定泛化至超过400K tokens的超长文档 [24] 技术突破与行业意义 - 首次实现记忆建模领域的真正长度外推,证明模型学会的是通用记忆策略而非特定模式 [24] - 消融实验显示,经Mem-α训练后模型准确率从38.9%提升至64.2%,实现从“不会用记忆”到“自主管理记忆”的质变 [25] - 标志记忆管理从工程问题转向可学习问题,为多模态记忆、个性化策略等方向开辟新路径 [27]