Titans架构
搜索文档
腾讯研究院AI每周关键词Top50
腾讯研究院· 2025-12-13 10:33
| 类别 | Top关键词 | 主体 | | --- | --- | --- | | 芯片 | H200出口 | 英伟达 | | 芯片 | 新GPU架构 | 摩尔线程 | | 算力 | CUDA Toolkit 13.1 | 英伟达 | | 算力 | 太空AI | Starcloud | | 模型 | Titans架构 | 谷歌 | | 模型 | 深度思考模式 | 谷歌 | | 模型 | GLM-4.6V | 智谱 | | 模型 | LongCat-Image | 美团 | | 模型 | 混元2.0 | 腾讯 | | 模型 | NVARC小模型 | 英伟达 | | 模型 | 新模型测试 | OpenAI | | 模型 | Devstral 2 | Mistral AI | | 模型 | 「牛油果」 | Meta | | 应用 | AI可穿戴设备 | Meta | | 应用 | AI面试官 | Anthropic | | 应用 | VibeVoice | 微软 | | | Realtime-0.5B | | | 应用 | 主体库功能 | 可灵 | | 应用 | Qwen3-TTS | 阿里 | | 应用 | A ...
GoogleTitans架构再次亮相NeurIPS2025,补全Transformer的长上下文短板
海通国际证券· 2025-12-08 14:12
报告行业投资评级 * 报告未对特定公司或行业给出明确的投资评级(如优于大市、中性、弱于大市)[1][5][17][23][24] 报告的核心观点 * Google在NeurIPS 2025重申其Titans架构并发布理论框架MIRAS,这被视为Transformer之后的重要架构演进方向,旨在解决大模型在超长上下文、长期记忆和跨文档推理上的核心瓶颈[1][11] * Titans架构通过记忆增强与递归-注意力混合设计,实现了百万级token的长文本处理能力,官方表示能处理约**200万** token,支持整本书、代码仓、合规文档等超长文本任务[2][12] * 相较于主流Transformer,Titans的核心创新在于推理阶段的动态记忆(test-time learning),允许模型在使用过程中动态更新内部记忆结构,从而在长任务链和跨会话任务中保持更强的连续性与知识积累能力[3][13] * Titans是对Transformer架构的有效补全而非替代,它在长上下文理解、代码仓分析、企业知识库检索、多文档推理及长期对话智能体等场景中具备显著优势,而Transformer在短文本、低延迟推理等传统任务上仍保持效率与成熟度优势,两者短期内将呈现分工式共存[4][14][16] 根据相关目录分别进行总结 事件与架构概述 * Google在NeurIPS 2025再次强调其Titans架构,并公开相关理论框架MIRAS[1][11] * Titans支持**百万级** token上下文处理,并引入推理阶段学习能力,推动模型向可持续积累经验的智能体方向迈进[1][11] Titans架构的技术突破 * **长期记忆模块(Neural Memory)**:引入可更新记忆模块,模型在推理中可将关键信息写入记忆并在后续检索,形成类似长期记忆的结构[2][12] * **递归与注意力的混合结构**:使用递归结构(RNN-like updates)负责线性处理长序列,注意力机制(Transformer-like interactions)负责复杂交互[2][12] * **MIRAS理论框架**:定义了何时写记忆、如何筛选重要信息以及如何在推理阶段动态更新的规则[2][12] 与Transformer的对比分析 * **处理效率**:Transformer依赖全局注意力,复杂度随序列长度呈平方级(O(N²))增长,在百万级token任务上存在显著计算与存储瓶颈;Titans通过关键表示提取与记忆写入路径,大幅降低了长文本处理成本[3][13] * **推理动态性**:Transformer的推理过程是静态的,基于训练固化的参数;Titans引入推理阶段学习,允许动态更新内部记忆结构[3][13] * **应用场景分工**:Titans在长文本理解、代码仓分析、企业知识库检索、多文档工作流和长期智能体等场景中具备明显优势;Transformer在短上下文、高吞吐量及对延迟敏感的任务上仍是更优解[3][4][13][14][16] 性能表现 * Titans在超长序列任务中显著领先,能在百万级上下文保持高准确率[7] * 在相同规模与训练量下,Titans保持更优的训练效率与模型质量[8][10]
谷歌祭出Transformer杀手,8年首次大突破,掌门人划出AGI死线
36氪· 2025-12-08 09:01
谷歌DeepMind掌门人断言,2030年AGI必至!不过,在此之前,还差1-2个「Transformer级」核爆突破。恰在NeurIPS大会上,谷歌甩出下一代 Transformer最强继任者——Titans架构。 2025年即将进入尾声,下一年AI将走向何方? 最近,谷歌DeepMind CEO Hassabis在一场访谈中,对未来12个月的「关键趋势」做出重磅预测。 划重点!!!主要有以下五大核心点—— Hassabis强调,我们应尽快Scaling现有的AI系统,至少它们会成为最终AGI的「关键部件」。 甚至,它可能会成为那个终极的AGI系统。 不过话说回来,我们至少还需要1-2个像Transformer、AlphaGo这样级别的突破才可以。 八年前,谷歌Transformer奠基之作出世,彻底改变了AI界。 正如Hassabis所言,「颠覆性」AGI已近在眼前! DeepMind掌门人:2030年,AGI必至 今年早些时候,Hassabis就曾预测,具备或超越人类能力的AGI,可能会在2030年之前实现。 如今,谷歌另一个极有潜力成为Transformer的全新架构——Titans,正式在NeurI ...
LLM 语境下,「持续学习」是否是 「记忆」 问题的最优解?
机器之心· 2025-11-16 09:30
LLM语境下持续学习与记忆问题 - 谷歌提出嵌套学习范式将模型视为一系列嵌套问题堆叠旨在学习新技能同时规避灾难性遗忘问题[6] - 嵌套学习核心论点在于机器学习模型由多个相互关联层次分明优化子问题组成将模型优化器与记忆统一看作多级并行带独立上下文流优化问题[6] - 基于嵌套学习原理研究者设计HOPE架构在语言建模长上下文推理持续学习与知识整合任务上较Transformer++等基线模型表现出更低困惑度与更高准确率[7] - AI社区存在争议认为嵌套学习类似已有技巧叠加如2020年ModNet和2024年ACh和NA框架等多尺度持续学习并非全新概念[8] - 持续学习核心挑战是解决灾难性遗忘即智能系统学习新任务时避免覆盖旧任务知识LLM时代表现为模型降智如领域SFT训练导致通用基准测试性能下降[8] - 当前LLM研究焦点偏向通过改善记忆力使智能体保留情景经验语义知识和程序技能设想跨持久智能记忆层包含Model Weights层KV Cache层和Context层[8] 从行为数据到AI记忆的路线 - 产品方强调更懂你资本强调难以复制引发AI产品护城河是否真实存在讨论不同产品在记什么记多久上押注不同方向[1] - 医疗对话记忆能否作为知识库提升诊疗质量探讨软件被动记录无法覆盖全部生活场景需借助硬件实现always on模式[1] 合成数据与人形机器人发展 - 合成数据被视为数据金字塔中坚力量DARPA寒冬已过人形机器人迎来技术和市场双重爆发[2] - 人形机器人利用以人为中心数据源真实数据虽是黄金标准但被称为最大瓶颈GenAI指数引擎是否创造有用数据受关注[2]