要事解读① 「Memory as a Context」是否将重新定义 Transformer 的「记忆模式」 - 谷歌于2024年底提出Titans架构，其核心是设计了一种神经长期记忆模块，能够在测试时根据新输入数据进行在线学习和优化，该模块以多层感知器的形式运行，其突破在于能主动学习识别并保留输入数据中各个标记间的重要关系和概念主题，而非被动存储数据[7] - Titans提出了三种将神经记忆模块与Transformer注意力机制结合的架构变体，分别代表不同的记忆集成思路：「Memory as a Context」、「Memory as a Gate」和「Memory as a Layer」[7] - 技术社区对Titans和「Memory as a Context」思路的探讨升温，有观点认为其可能重新定义Transformer的记忆模式，但2025年10月有研究通过复现实验指出，受限于分块机制，Titans并不总能超越现有基准模型，且记忆组件与模型主干之间的适配优化仍存在挑战[8] - 尽管存在挑战，同一研究也指出，与仅使用注意力的模型相比，Titans的神经记忆组件能够持续提升模型性能[8] - 谷歌团队为Titans等系列建模方法提出了统一的理论框架「MIRAS」，该框架将各种架构视为由「联想记忆架构」、「注意力偏差」、「记忆保持门控」、「记忆学习算法」四个组件抽象组合而成的问题解决方法[7] Transformer的记忆模式如何转变为自适应的Test-Time Learning系统 - 业界在共识到注意力机制局限的背景下，持续探索改进LLM记忆力的方案，以使模型获得持续学习能力，适应动态变化的部署环境，有思潮认为在LLM语境下，持续学习可能是一个「记忆管理」问题[9] - 华为研究者在2025年8月的综述中指出，LLM的记忆机制正从被动的静态缓存转变为具有自适应能力的测试时学习系统，这种系统指模型在推理阶段无需重新训练或微调，即可通过动态调整记忆策略，实时适配任务需求与环境变化，实现「边用边学」[9] - 该综述梳理了过去7年对LLM四项核心记忆操作（读取、写入、遗忘、容量管理）的技术演进，对比了静态缓存机制的局限与近期记忆增强型Transformer的改进方法[10] - 在「读取」操作上，记忆增强型Transformer实现了动态调整检索范围、内容敏感的模式补全以及测试时优化检索策略，代表模型如CDMem、ARMT（支持5000万token O(1)读取）和ABC[10] - 在「写入」操作上，记忆增强型Transformer实现了选择性写入（如仅存储高惊喜度信息）、实时决策每层写入比例以及无梯度更新的超线性容量增长，代表模型如Titans（使用KL惊喜驱动）、LM2和ATLAS[10] - 在「遗忘」操作上，记忆增强型Transformer实现了价值优先的保留策略、测试时调整衰减因子以及主动清理机制，代表模型如MemLong、RA-DT和ARMT[10] - 在「容量管理」操作上，记忆增强型Transformer实现了弹性扩容（如支持超过16万令牌的连贯生成）、语义感知压缩以及测试时资源调度，代表模型如M+、zip2zip和Transformer-Squared[10] 2026将近，世界模型到底更「世界」了吗 - 业界在探索世界模型的发展方向，存在不同路径的对比，例如Sora式的像素级模拟被认为更可靠，而V-JEPA式的抽象表征预测则被认为更高效[2] - 关于世界模型的输出形式存在讨论，其输出的「世界」应是静态资产、实时帧序列，还是用于驱动预测与控制的潜在状态[2] - 大型科技公司布局世界模型，其战略意图存在不同解读：是在补充现有的「数据引擎」，还是在搭建全新的「时空认知」框架[2] 基于100万亿Token的深度分析：OpenRouter联合a16z发布《State of AI》报告 - 中国开源模型的全球流量份额在一年内从1.2%大幅提升至近30%[2] - 「智能体式推理」已经取代「对话生成」，成为消耗超过50%流量的主流使用范式[2] - 参数量在15B至70B之间的「中型模型」击败了更小和更大的模型，成为在效能平衡上的最优解[2] - AI应用的发展呈现两极分化趋势，正在向「高成本生产力」工具和「低成本娱乐」应用两个极端集中[2]

产品发布与定位 - 公司创新打造的旗舰产品EverMemOS近日发布，并在GitHub开放开源版供开发者与AI团队部署试用，云服务版本预计年内发布，为企业用户提供更完善技术支持、数据持久化与可扩展体验 [1] - 该产品是一款面向人工智能智能体的世界级长期记忆操作系统 [1] - 在主流长期记忆评测集LoCoMo和LongMemEval-S上，EverMemOS分别取得92.3%和82%得分，均显著超越此前工作，成为新的SOTA（State-of-the-Art）水平 [1][4] 行业背景与核心理念 - 受限于大语言模型固定的上下文窗口，AI在长时程任务中会频繁"失忆"，导致记忆断裂、事实矛盾，使深度个性化和知识一致性成为空谈 [3] - 无论Claude还是ChatGPT，已将长期记忆作为战略级功能推出，标志着记忆正成为未来AI应用核心竞争力与分水岭 [3] - 公司团队从类脑设计理念出发，借鉴感官信号编码、海马体索引到皮层长期存储的机制，让AI能像人类一样思考、记忆与成长 [3] - 当今AI建立在"空间结构"范式之上，是瞬时的、静态的，而人类大脑的"时间结构"范式是连续的、动态的，"长期记忆"是连接时间与智能的关键环节 [4] 产品技术架构与创新 - 产品受人脑记忆机制启发，创新设计四层结构：代理层类比"前额叶皮层"、记忆层对应"大脑皮层网络"、索引层类似"海马体"、接口层作为AI的"感官接口" [6] - 首要创新在于解决了现有方法"只管找，不管用"的核心痛点，通过独特推理与融合机制，让记忆能够实时、主动地影响模型的思考和回应 [7] - 将连续语义块提取为情景记忆单元，再动态组织成结构化记忆，解决纯文本相似度检索难以捕捉隐性上下文的难题 [7] - 设计业界首个可拓展的模块化记忆框架，能灵活支持多种记忆类型，智能提供最优的记忆组织和应用策略 [7] 应用场景与进展 - 该产品是行业首个真正能同时支持1对1对话与复杂多人协作两大场景的记忆系统 [4] - 产品已率先被AI Native产品Tanka采用 [4]

文章核心观点 - 语言是人类实现泛化的核心工具，是构建通用人工智能系统的最本质要素 [4][7][77] - AI Agent发展已进入下半场，重点从模型训练转向任务定义和环境设计 [5][62][63] - 创业公司最大机会在于设计新型人机交互界面，而非重复ChatGPT模式 [110][112][113] - 未来AI生态将呈现既单极又多元格局，由不同超级应用共同定义智能边界 [5][146][154] 姚顺雨背景与研究历程 - 清华姚班本科、普林斯顿博士，2019-2024年在普林斯顿攻读博士学位 [13] - 2016年接触多模态嵌入技术后转向深度学习，2018年系统性开始深度学习研究 [14][15] - 博士期间从计算机视觉转向语言模型研究，因认为语言是实现AGI的更核心方向 [15] - 专注Language Agent研究6年，2024年加入OpenAI [4][19] AI Agent技术演进 - 技术发展三阶段：符号主义AI（规则系统）→深度强化学习（环境特定）→大语言模型（泛化推理）[40][41][43] - 语言智能体与传统Agent本质区别在于具备推理能力从而实现泛化 [36][38][39] - ReAct框架成为最通用方案，实现推理与行动的协同 [26][50] - 代码环境是数字智能体最重要的"手"，提供天然机器表达形式 [53][54][55] 任务与环境设计 - 当前瓶颈从方法创新转向任务定义和环境设计 [62][63] - 优秀任务需具备：结果导向奖励机制、基于规则的白盒评估、可解释性 [64][66][71] - 任务分类标准：可靠性需求型（如客服）vs创造力需求型（如证明猜想）[70][72] - 评估指标需区分Pass@k（多次尝试成功率）和Pass^k（每次成功率）[74] 产业发展与创业机会 - 模型能力溢出为创业公司创造机会，关键在于设计新型交互界面 [110][112] - 成功案例包括Cursor（编程副驾驶）、Manus（通用交互）、Perplexity（研究型搜索）[117][127][129] - 数据飞轮形成需三个条件：自主训练能力、清晰奖励信号、数据好坏分离 [123][124] - 成本不是核心瓶颈，真正关键在于找到价值超过成本的应用场景 [139][141] 未来生态展望 - OpenAI五级能力划分：聊天机器人→推理者→智能体→创新者→组织者 [44][45] - 未来12-24个月趋势：Chatbot系统自然演进为Agent系统，新型Copilot应用涌现 [165][166] - 记忆系统（Memory）将成为核心竞争壁垒，特别是上下文管理能力 [51][158][159] - 最终生态将由多个超级应用共同定义，呈现中心化与分布式并存格局 [146][152][154]