Workflow
上下文投毒
icon
搜索文档
AI大家说 | 忘掉《Her》吧,《记忆碎片》才是LLM Agent的必修课
红杉汇· 2025-09-01 08:06
AI Agent行业发展趋势 - AI行业叙事从聊天机器人转向AI Agent 聚焦任务分解 工具调用和自主规划[3] - 2025年行业讨论焦点转向任务分解 工具调用和自主规划 标志着AI Agent时代的到来[3] 上下文工程技术架构 - 上下文工程是围绕LLM有限注意力设计的信息输入输出管理技术栈 目标是为每个决策点提供恰到好处的信息[5][6] - 系统需要解决无状态系统执行长期有状态任务的工程挑战 核心在于设计外部系统弥补内存限制[8][9] - 技术栈包含三大支柱:外部知识管理系统(RAG) 上下文提炼与结构化 分层记忆管理[11] 外部知识管理系统(RAG) - 系统通过信息采集固化 上下文标注和按需调用实现完整知识管理闭环[14] - 选择性记录关键信息至关重要 避免无关信息淹没检索系统[15] - 拍立得系统对应RAG技术 实现将流动现实固化为可永久保存的知识单元[14] 信息处理与结构化 - 信息需要提炼压缩和结构化 在有限Token预算内最大化信息密度[18] - 莱纳德将信息从照片升级到纹身 体现极致信息压缩和物理结构化[18] - 核心信息经过反复验证后成为不可更改的断言 构成世界观基石[18] 分层记忆管理体系 - 系统分为三层:核心任务层(不可变) 情景工作记忆层(可读写) 瞬时处理窗口(易失)[19][20] - 核心任务层定义身份和终极目标 拥有最高决策权重[19] - 瞬时处理窗口直接对应LLM上下文窗口 是真正思考发生的地方[20] Agent系统设计风险 - 外部投毒风险:系统可能处理精心筛选或扭曲的信息 导致输出错误结论[23] - 内部污染风险:自我强化的认知牢笼使系统无法识别自身生成的错误信息[24][26] - 多步任务规划Agent缺乏独立自我审查视角 容易在循环中放大错误[26] 系统验证与反思机制 - 现有系统缺少验证与反思模块 无法比对行动结果与预期目标的差距[27] - 反思是重要工程模块 需要生成误差报告作为下一次行动的关键输入[27] - 构建能可靠行动的系统比构建能行动的系统更具挑战性[27]