LLM语境下持续学习与记忆问题 - 谷歌提出嵌套学习范式将模型视为一系列嵌套问题堆叠旨在学习新技能同时规避灾难性遗忘问题[6] - 嵌套学习核心论点在于机器学习模型由多个相互关联层次分明优化子问题组成将模型优化器与记忆统一看作多级并行带独立上下文流优化问题[6] - 基于嵌套学习原理研究者设计HOPE架构在语言建模长上下文推理持续学习与知识整合任务上较Transformer++等基线模型表现出更低困惑度与更高准确率[7] - AI社区存在争议认为嵌套学习类似已有技巧叠加如2020年ModNet和2024年ACh和NA框架等多尺度持续学习并非全新概念[8] - 持续学习核心挑战是解决灾难性遗忘即智能系统学习新任务时避免覆盖旧任务知识LLM时代表现为模型降智如领域SFT训练导致通用基准测试性能下降[8] - 当前LLM研究焦点偏向通过改善记忆力使智能体保留情景经验语义知识和程序技能设想跨持久智能记忆层包含Model Weights层KV Cache层和Context层[8] 从行为数据到AI记忆的路线 - 产品方强调更懂你资本强调难以复制引发AI产品护城河是否真实存在讨论不同产品在记什么记多久上押注不同方向[1] - 医疗对话记忆能否作为知识库提升诊疗质量探讨软件被动记录无法覆盖全部生活场景需借助硬件实现always on模式[1] 合成数据与人形机器人发展 - 合成数据被视为数据金字塔中坚力量DARPA寒冬已过人形机器人迎来技术和市场双重爆发[2] - 人形机器人利用以人为中心数据源真实数据虽是黄金标准但被称为最大瓶颈GenAI指数引擎是否创造有用数据受关注[2]

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 一种令人兴奋的全新的范式。 谷歌AI掌舵人Jeff Dean点赞了一项新研究，还是出自清华姚班校友 钟沛林 团队 之手。 Nested Learning嵌套学习 ，给出了大语言模型灾难性遗忘这一问题的最新答案！ 简单来说，Nested Learning（下称NL）就是让模型从扁平的计算网，变成像人脑一样有层次、能自我调整的学习系统。 论文里还提到，甚至人们常用的Transformer，其实本质是NL的简化版，它只是把NL的多层级拆成了单一层级的线性层，并没发挥出多层级 的优势。 基于NL范式的 Hope模型 ，在语言建模任务和长上下文记忆任务中的表现均优于Transformer，且论文已经被NeurIPS 2025接收。 下面就来看看这个新范式，究竟突破在何处？ 而嵌套学习NL则开辟了一条模仿人脑认知机制的新路径，灵感就源自于大脑的记忆工作原理。 人类大脑通过 在线巩固 和 离线巩固 两个互补的过程实现持续学习，短期内记忆快速更新，长期记忆则缓慢沉淀，不同层级的记忆系统按照 各自的节奏协同运作。 NL就是把这一套逻辑数字化，把机器学习模型重构为一套 嵌套式 ...