文章核心观点 - 无涯智远挑战行业共识，选择在前向传播中直接改动模型参数，撕开推理与训练之间的藩篱，让大模型实现边用边学 [2] - 公司提出参数内学习（IPL）技术构想，通过超网络一次前向传播直接生成基座模型的参数更新，将知识写入成本降至接近推理量级 [4] - 创始人张牧涵认为若不能把经历转化为内部参数，模型就永远只是被动调用的工具，陷入失忆循环 [3] - 公司已在实验室验证超网络的跨语言与跨领域泛化性，相关成果获ICML收录，并已开启大规模超网络训练 [5] - 当参数更新门槛从百卡千卡降至单机甚至端侧部署，定义参数的权利将重新回到企业与个人手中 [5] 创始人背景与技术演进 - 张牧涵为北大90后AI科学家，是图神经网络早期开拓者之一，提出的SortPooling、SEAL等算法被主流图深度学习库广泛收录 [3] - 已发表论文百余篇，总引用超1.6万次，两次入选全球前2%顶尖科学家终身影响力榜单 [3] - 在Facebook期间将图深度学习带入支撑数十亿用户的大规模推荐系统，后放弃硅谷高薪回国加入北大教职 [3] - 2015年赴圣路易斯华盛顿大学读博，研究深度学习方向，当时该方向仅为计算机科学下分支 [7] - 博士期间提出图神经网络多种经典算法，包括图分类的SortPooling、链路预测的SEAL、矩阵补全的IGMC等，主要工作集中在2016至2018年 [14] - 2018至2019年图神经网络领域爆发，大量文章引用其算法、代码和benchmark，验证了其开拓新范式的能力 [15] - 用四年完成博士学业后加入Facebook AI个性化团队，参与图深度学习系统开发，将图结构信息用于广告推荐 [16] RSI与持续学习的技术逻辑 - 公司切入RSI中最核心的模型持续进化环节，解决如何把大量探索轨迹快速变成模型自身提升的问题 [3] - 张牧涵认为上下文窗口在百万token量级继续往上做已很不经济，全注意力计算有平方复杂度问题，长度增加十倍计算量可能增加一百倍 [19] - 上下文类比短期工作记忆，参数类比长期记忆，知识写进参数可跨任务保留且不占用原文KV cache [20] - 参数已从几百B走向几T，未来可能十几T几十T，T与M之间有六个数量级差异，参数空间扩展潜力远大于上下文空间 [25] - 公司选择持续、实时、增量式学习，让模型每段新经历都有机会变成参数里的知识或能力 [23] - 最核心卡点是缺少足够快、足够便宜、能长期连续运行的学习机制 [24] 超网络技术路径与实验成果 - 2024年开始尝试参数高效微调、监督微调将上下文训练进参数，但成本、时间、效果都不好，且面临灾难性遗忘 [29] - 反复在同一材料上做下一token预测训练可能只是让模型变复读机，通用能力还被破坏 [30] - 公司选择全量参数永久写入，不预先锁定可改范围，通过数据教模型学会往哪里写、怎样写 [31] - 超网络通过一次前向传播生成参数更新，写入时间可到秒级，原来需很多卡反复训练，现在可能八张卡甚至一张卡做一次前传即可完成 [32] - 张牧涵2018年即做过相关研究，2019年在NeurIPS发过基于图网络的CNN架构搜索工作，从图神经网络到超网络一脉相承 [33] - 公司是第一个真正把超网络做出规模扩展、展现泛化能力的团队，用60亿个token训练，论文2月放arXiv、7月被ICML收录 [35][36] - 仅用英文语料训练，输入中文也能内化，证明学到可泛化的更新能力而非仅记住训练内容 [37] - 与监督微调相比效果、速度、成本都是碾压，与部分TTT方法比也有优势，但当时还赶不上上下文学习 [38] - 超网络参数量约为基座模型参数量的20%，训练越多内化效果越好 [48] - 目前内部新版模型在几十K token量级能完全匹配上下文学习，超大规模写入能有大致的印象但做不到精确召回 [49] 与TTT路线的对比 - TTT在推理时实时做反向传播更新参数，为兼顾成本需在更新范围、规则复杂度和计算效率间取舍，部分工作只更新局部fast weights [42] - 依赖在线梯度更新的TTT方法做大参数规模面临实时反向传播成本及二阶导数计算负担 [43] - 过去一些TTT方法需重新预训练，后来工作做近似简化把成本降下来，但限制了更新模块的复杂度和容量 [44][45] - 超网络通过前向传播生成更新，训练它是对前向生成过程做反向传播仅涉及一阶导数，避免二阶计算负担 [46] - 公司把超网络视为有海量参数的更新模块，是具有更好Scaling Law的TTT升级版本 [48] 当前技术挑战与规划 - 最大技术挑战是更大的基座、更好的超网络以及更长程的稳定内化，目前做几百次内化已能写入大部分关键信息，到几千次甚至持续下去还需推进 [52] - 不仅要记住新东西还要维持原有能力不漂移，需有合理的强化和遗忘机制，让模型学会持续学习能力本身 [53] - 短期规划聚焦稳定、安全、可控和回滚，连续更新几百几千次后模型仍保持稳定能力，重要内容保留同时有自然遗忘机制 [67] - 经常被激活的记得更牢、最近学的记得更牢，有些更重要更常用的应被巩固，有些可自然淡化 [67] 行业影响与商业机会 - 大厂在提供通用能力和标准化服务方面有很强优势，创业公司机会在于围绕具体问题把研究、工程和用户反馈紧密组织起来 [56] - 公司使用大厂开源基座为其训练对应超网络，同一基座可继续分化形成适合不同用户的个性化模型，未来可探索端侧部署或云端维护个性化参数 [56] - 一定程度上会替代今天很多后训练工作，企业规章制度或新发布专业文本写入参数已能做到秒级速度且效果好，部分轨迹写入可超过监督微调效果 [57] - 公司持续开源部分成果，从2月发布至今已有不少机构基于其训练好的超网络做后续微调，探索新的内化对象 [58] - 像skill.md这类内容内化后不仅节省上下文缓存，有的实验里表现反而更好，可能影响模型使用知识的方式 [58] - 当前更新模型参数能力主要掌握在大厂手里，企业即使私有化部署模型也没有能力继续训练，模型仍是标准件 [61] - 若参数更新成本接近推理，训练门槛降下来，只要部署得起推理设备就有机会训练自己的模型，把数据变成专属模型能力 [62] - 未来每个人背后可以是一套自己的模型且能持续进化，每个家庭可能有一台小机器跑着基座和对应超网络提供智能服务 [63] - 企业侧两个DGX Spark可部署一个DeepSeek模型再通过超网络训练更新，不必为增加知识再建昂贵训练基建 [64] - 商业化早期探索包括API（背后服务的是可实时进化的自有模型而非共享参数）和Personal Agent应用，并接触需求明确有付费能力的企业 [66] - 长程推理场景坚定需要实时参数学习能力，代码任务中可先把整个仓库内化让模型对项目有全局认识，之后修改和探索轨迹继续进入参数 [59][60] - 参数内记忆可先建立全局认识再配合检索找具体内容，如同先读过书再翻书找段落会更快更准 [51] 团队与愿景 - 团队汇聚清北通班名列前茅的尖子生、数理化奥赛全国金牌前十选手、省高考状元与ICPC金牌得主 [5] - 张牧涵期待AI与人类共处成为帮助人的智能，欣赏《机器人总动员》的瓦力与《星际穿越》的TARS [70] - 更远展望中若Agent或AI成为生产者、人的需求能被充分满足，资源调配可能不再需要周期性起落而持续往上走 [71]