文章核心观点 - 一篇由哈工大、鹏城实验室、新加坡国立、复旦、北大联合发布的综述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》首次系统性地将人脑记忆机制与人工智能代理（Agent）的记忆统一审视，旨在为设计真正“类人”的Agent记忆系统奠定理论基石[2] - 该综述横跨认知神经科学与人工智能两大领域，涉猎相关文献共400篇，旨在打破学科壁垒，推动Agent记忆系统的发展[3] 记忆的定义与剖析 - **认知神经科学角度**：记忆是连接过去经验与未来决策的认知桥梁，分为两个阶段：第一阶段快速形成并整合新信息的神经表征，第二阶段对存储的表征进行巩固或检索[6] - **LLM视角**：大语言模型的记忆表现为三种形式：参数记忆（内化在神经网络权重中的知识）、工作记忆（基于上下文窗口的实时推理）和显式外部记忆（如RAG）[7] - **Agent视角**：Agent的记忆是一个动态的认知架构，超越了简单的存储，其核心维度包括结构化存储（将非结构化交互转换为机器可理解的格式）和动态调度（模拟人脑的遗忘与唤醒机制，解决有限注意力与大量存储间的冲突）[7] 记忆的作用 - 在LLM驱动的Agent中，记忆系统充当关键主动组件，旨在实现三大核心作用：突破上下文窗口的限制、构建长期个性化画像、驱动基于经验的推理[10][12] 记忆的分类学 - **基于认知神经科学的分类**：人脑记忆分为短期记忆（临时工作台，容量约4～9个单位信息）和长期记忆（永久档案馆，无严格容量限制）；长期记忆进一步分为情景记忆（对个人亲身经历事件的记忆）和语义记忆（对事实、概念和规则的记忆）[15][21] - **Agent的双维度记忆分类**： - **基于性质的分类**：直接对齐人脑，分为情景记忆（存储完整的交互轨迹，提供“How to”的过程性知识）和语义记忆（存储Agent的知识库，提供“What-is”的陈述性知识）[17][20][22] - **基于范围的分类**：分为轨迹内记忆（临时工作区，仅当前任务有效）和跨轨迹记忆（永久存储库，跨越多个任务和生命周期）[17][23][27] 记忆的存储机制 - **认知神经科学中的记忆存储**： - **短期记忆**：存储位置分布在感觉皮层和额顶网络，存储形式包括持续活动和活动-沉默突触连接[28] - **长期记忆**：存储位置涉及海马体（作为索引）和新皮层（作为永久仓库），存储形式包括事件单元和认知地图[28] - **Agent中的记忆存储**：是显式的工程构建，存储位置包括上下文窗口（对应轨迹内记忆）和外挂的记忆库（对应跨轨迹记忆）；存储形式包括文本、图结构、参数和隐式表示（高维向量）[31][35] 记忆的管理系统 - **认知神经科学**：记忆管理是一个动态循环，包括记忆形成（编码、巩固、整合）、记忆更新（以预测误差为核心驱动力）和记忆检索（重构性，伴随再巩固过程）[33][34][38][39] - **Agent记忆管理**：形成一个由记忆提取、更新、检索和应用组成的精密闭环[33][38] - **记忆提取**：分为扁平提取、分层提取和生成式提取[41] - **记忆更新**：分为轨迹内更新（如实时过滤噪声）和跨轨迹更新（如引入遗忘机制）[41] - **记忆检索**：分为基于相似度的检索和多因素检索（考虑时间、重要性等因素）[41] - **记忆应用**：分为上下文利用、参数内化等方式[41] Agent记忆系统评测 - 现有的评测基准主要分为两类： - **面向语义的基准**：评估Agent如何构建、维护和利用其内部记忆中的信息状态，例如LoCoMo、MemoryBank等[42][44] - **面向情景的基准**：评估复杂下游应用场景中Agent记忆系统的实际性能增益，例如WebArena、ScienceWorld等[42][44] Agent记忆的安全 - **主要攻击方式**： - **窃取攻击**：利用精心设计的Prompt诱导Agent泄露长期记忆中存储的敏感信息[47] - **投毒攻击**：向记忆库中注入恶意数据以植入后门或进行认知污染，改变Agent行为或使其判断力退化[47] - **防御策略**：包括检索防御（在读取前清洗）、响应防御（在生成回答时监控拦截）和隐私防御（对敏感数据进行匿名化处理）[46][54] 未来展望 - **多模态记忆**：未来的记忆系统需要是全模态的，统一存储与表示文本、图像、音频和视频等多模态信息，使Agent能真正理解物理世界[49][55] - **Agent Skills**：提出“Agent Skills”概念，将指令集、可执行脚本等封装为结构化单元，旨在解决不同Agent间记忆难以移植重用的问题，并探索跨Agent的skills转移和适应机制[50][55]

文章核心观点 - 一篇由哈工大、鹏城实验室、新加坡国立、复旦、北大联合发布的综述，首次系统性地将认知神经科学的人脑记忆机制与人工智能中的智能体记忆进行统一审视，旨在为设计真正“类人”的智能体记忆系统奠定理论基石 [2] - 该综述横跨认知神经科学与人工智能两大领域，涉猎相关文献共400篇，旨在打破学科壁垒，推动智能体记忆系统的跨学科突破 [2] 记忆的定义与视角 - **重新定义记忆**：记忆不仅仅是数据的存储，更是连接过去经验与未来决策的认知桥梁 [4] - **人脑视角**：记忆是大脑存储和管理信息的过程，分为两个阶段：快速形成并整合新信息的神经表征阶段，以及随时间巩固或根据未来情况检索这些表征的阶段 [5] - **大语言模型视角**：记忆表现为三种形态并存，包括参数记忆、工作记忆和显式外部记忆 [6] - **智能体视角**：智能体记忆超越了LLM的简单存储，是一个动态的认知架构，嵌入在智能体与环境的动态交互过程中，与传统侧重于静态知识库查询的RAG有本质区别 [6] 记忆的核心作用 - 在智能体中，记忆系统充当关键主动组件，旨在实现三大核心作用：突破上下文窗口限制、构建长期个性化画像、驱动基于经验的推理 [8] - 记忆通过减轻上下文窗口限制、实现长期个性化以及驱动基于经验的推理来扩展智能体的能力 [10] 记忆的分类学 - **基于认知神经科学的分类**：人脑记忆分为短期记忆和长期记忆，长期记忆又可细分为情景记忆和语义记忆 [15][16][19] - **智能体的双维度分类**：为适应复杂自主任务，提出基于“性质”和“范围”的双维度分类法 [17] - **基于性质**：直接对齐人脑，分为情景记忆和语义记忆 [22] - **情景记忆**：存储完整的交互轨迹，提供过程性知识 [24] - **语义记忆**：存储事实、概念、规则和常识，提供陈述性知识 [24] - **基于范围**：根据记忆在任务流中的生命周期划分 [23] - **轨迹内记忆**：临时工作区，仅在当前任务或会话中有效 [24] - **跨轨迹记忆**：永久存储库，存储可概括的模式、学习的策略、可重用的知识 [24] 记忆的存储机制 - **人脑记忆存储**：是一个跨脑区的动态协作过程 [27] - **短期记忆**：存储位置分布在感觉皮层和额顶网络，存储形式包括持续活动和活动-沉默突触连接 [31] - **长期记忆**：存储涉及海马体和新皮层，海马体充当索引，新信息通过系统巩固转移到新皮层永久存储，存储形式包括事件单元和认知地图 [31] - **智能体记忆存储**：是显式的工程构建，需在存储位置和存储形式上进行设计以平衡计算成本与推理能力 [32] - **存储位置**：包括上下文窗口和外部记忆库 [39] - **存储形式**：包括文本、图结构、参数和隐式表示 [39] 记忆的管理系统 - **人脑记忆管理**：是一个充满可塑性的动态循环，包括记忆形成、更新、检索和整合 [36][38] - **记忆形成**：包括编码和巩固两个阶段 [40] - **记忆更新**：核心驱动力是预测误差，策略包括分化和整合 [44] - **记忆检索**：具有重构性，回忆过程可能伴随再巩固，导致记忆被修改或增强 [44] - **智能体记忆管理**：是一个由记忆提取、更新、检索和应用组成的精密闭环 [41][43] - **记忆提取**：分为扁平提取、分层提取和生成式提取 [45] - **记忆更新**：分为针对上下文窗口的轨迹内更新和针对外部记忆库的跨轨迹更新 [45] - **记忆检索**：主要分为基于相似度的检索和多因素检索 [48] - **记忆应用**：主要分为上下文利用和参数内化两种范式 [48] 记忆系统的评测 - 综述将现有的评测基准分为两类：面向语义的基准和面向情景的基准 [47] - **面向语义的基准**：重点关注智能体如何构建、维护和利用其内部记忆中的信息状态，列举了如MemBench、LongMemEval、MemoryBank等超过20个基准及其数据量 [47] - **面向情景的基准**：旨在评估复杂下游应用场景中智能体记忆系统的实际性能增益，列举了如WebArena、ToolBench、GAIA等超过10个基准及其数据量 [49] 记忆系统的安全 - **主要攻击方式**：分为窃取攻击和投毒攻击两类 [51] - **窃取攻击**：利用精心设计的提示诱导智能体泄露长期记忆中的敏感信息 [55] - **投毒攻击**：向记忆库注入恶意数据以植入后门或进行认知污染，改变智能体行为或使其判断力退化 [55] - **防御体系**：提出三道防线构筑闭环防御 [51] - **检索防御**：在智能体读取记忆前进行清洗和验证 [55] - **响应防御**：在智能体生成回答时引入审查或自我反思机制进行监控 [55] - **隐私防御**：在底层存储上将记忆分区，对敏感数据进行匿名化处理 [55] 未来展望 - **多模态记忆**：未来的记忆系统需要是全模态的，能统一存储与表示文本、图像、音频和视频等多模态信息，使智能体真正理解物理世界 [53][56] - **智能体技能**：借鉴“Agent Skills”概念，将指令集、可执行脚本等封装成结构化单元，以解决不同智能体间记忆难以移植重用的问题，实现跨智能体的技能转移和适应 [54][56]