文章核心观点 - 一篇由哈工大、鹏城实验室、新加坡国立、复旦、北大联合发布的综述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》首次系统性地将人脑记忆机制与人工智能代理（Agent）的记忆统一审视，旨在为设计真正“类人”的Agent记忆系统奠定理论基石[2] - 该综述横跨认知神经科学与人工智能两大领域，涉猎相关文献共400篇，旨在打破学科壁垒，推动Agent记忆系统的发展[3] 记忆的定义与剖析 - 认知神经科学角度：记忆是连接过去经验与未来决策的认知桥梁，分为两个阶段：第一阶段快速形成并整合新信息的神经表征，第二阶段对存储的表征进行巩固或检索[6] - LLM视角：大语言模型的记忆表现为三种形式：参数记忆（内化在神经网络权重中的知识）、工作记忆（基于上下文窗口的实时推理）和显式外部记忆（如RAG）[7] - Agent视角：Agent的记忆是一个动态的认知架构，超越了简单的存储，其核心维度包括结构化存储（将非结构化交互转换为机器可理解的格式）和动态调度（模拟人脑的遗忘与唤醒机制，解决有限注意力与大量存储间的冲突）[7] 记忆的作用 - 在LLM驱动的Agent中，记忆系统充当关键主动组件，旨在实现三大核心作用：突破上下文窗口的限制、构建长期个性化画像、驱动基于经验的推理[10][12] 记忆的分类学 - 基于认知神经科学的分类：人脑记忆分为短期记忆（临时工作台，容量约4～9个单位信息）和长期记忆（永久档案馆，无严格容量限制）；长期记忆进一步分为情景记忆（对个人亲身经历事件的记忆）和语义记忆（对事实、概念和规则的记忆）[15][21] - Agent的双维度记忆分类： - 基于性质的分类：直接对齐人脑，分为情景记忆（存储完整的交互轨迹，提供“How to”的过程性知识）和语义记忆（存储Agent的知识库，提供“What-is”的陈述性知识）[17][20][22] - 基于范围的分类：分为轨迹内记忆（临时工作区，仅当前任务有效）和跨轨迹记忆（永久存储库，跨越多个任务和生命周期）[17][23][27] 记忆的存储机制 - 认知神经科学中的记忆存储： - 短期记忆：存储位置分布在感觉皮层和额顶网络，存储形式包括持续活动和活动-沉默突触连接[28] - 长期记忆：存储位置涉及海马体（作为索引）和新皮层（作为永久仓库），存储形式包括事件单元和认知地图[28] - Agent中的记忆存储：是显式的工程构建，存储位置包括上下文窗口（对应轨迹内记忆）和外挂的记忆库（对应跨轨迹记忆）；存储形式包括文本、图结构、参数和隐式表示（高维向量）[31][35] 记忆的管理系统 - 认知神经科学：记忆管理是一个动态循环，包括记忆形成（编码、巩固、整合）、记忆更新（以预测误差为核心驱动力）和记忆检索（重构性，伴随再巩固过程）[33][34][38][39] - Agent记忆管理：形成一个由记忆提取、更新、检索和应用组成的精密闭环[33][38] - 记忆提取：分为扁平提取、分层提取和生成式提取[41] - 记忆更新：分为轨迹内更新（如实时过滤噪声）和跨轨迹更新（如引入遗忘机制）[41] - 记忆检索：分为基于相似度的检索和多因素检索（考虑时间、重要性等因素）[41] - 记忆应用：分为上下文利用、参数内化等方式[41] Agent记忆系统评测 - 现有的评测基准主要分为两类： - 面向语义的基准：评估Agent如何构建、维护和利用其内部记忆中的信息状态，例如LoCoMo、MemoryBank等[42][44] - 面向情景的基准：评估复杂下游应用场景中Agent记忆系统的实际性能增益，例如WebArena、ScienceWorld等[42][44] Agent记忆的安全 - 主要攻击方式： - 窃取攻击：利用精心设计的Prompt诱导Agent泄露长期记忆中存储的敏感信息[47] - 投毒攻击：向记忆库中注入恶意数据以植入后门或进行认知污染，改变Agent行为或使其判断力退化[47] - 防御策略：包括检索防御（在读取前清洗）、响应防御（在生成回答时监控拦截）和隐私防御（对敏感数据进行匿名化处理）[46][54] 未来展望 - 多模态记忆：未来的记忆系统需要是全模态的，统一存储与表示文本、图像、音频和视频等多模态信息，使Agent能真正理解物理世界[49][55] - Agent Skills：提出“Agent Skills”概念，将指令集、可执行脚本等封装为结构化单元，旨在解决不同Agent间记忆难以移植重用的问题，并探索跨Agent的skills转移和适应机制[50][55]