Workflow
Hope模型
icon
搜索文档
Jeff Dean盛赞姚班校友AI新研究,目前人已到Meta
量子位· 2025-11-15 13:00
闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 一种令人兴奋的全新的范式。 谷歌AI掌舵人Jeff Dean点赞了一项新研究,还是出自清华姚班校友 钟沛林 团队 之手。 Nested Learning嵌套学习 ,给出了大语言模型灾难性遗忘这一问题的最新答案! 简单来说,Nested Learning(下称NL)就是让模型从扁平的计算网,变成像人脑一样有层次、能自我调整的学习系统。 论文里还提到,甚至人们常用的Transformer,其实本质是NL的简化版,它只是把NL的多层级拆成了单一层级的线性层,并没发挥出多层级 的优势。 基于NL范式的 Hope模型 ,在语言建模任务和长上下文记忆任务中的表现均优于Transformer,且论文已经被NeurIPS 2025接收。 下面就来看看这个新范式,究竟突破在何处? 而嵌套学习NL则开辟了一条模仿人脑认知机制的新路径,灵感就源自于大脑的记忆工作原理。 人类大脑通过 在线巩固 和 离线巩固 两个互补的过程实现持续学习,短期内记忆快速更新,长期记忆则缓慢沉淀,不同层级的记忆系统按照 各自的节奏协同运作。 NL就是把这一套逻辑数字化,把机器学习模型重构为一套 嵌套式 ...