Workflow
DeepSeek Engram
icon
搜索文档
【数智周报】 谷歌DeepMind CEO:中国的AI模型仅落后美国几个月;DeepSeek开源相关记忆模块Engram;微软在人工智能上的支出将达到5亿美元;美国放宽对英伟达H200芯片出口中国的管制
搜狐财经· 2026-01-18 10:15
AI基础设施与算力 - 科大讯飞董事长刘庆峰表示,全国产算力平台上,国产大模型在参数小一倍的情况下可对标国际领先水平,自主可控的AI基础设施已初步成型 [2] - 特斯联发布T-Cluster 512超节点架构,总算力超500 PFlops,单机柜训练性能提高10倍,液冷覆盖超70%,PUE低至1.08 [17] - 智谱与华为联合开源首个全程在国产昇腾Atlas 800T A2芯片上训练的SOTA多模态图像生成模型GLM-Image [8][19] - 美国放宽对英伟达H200芯片出口中国的管制 [28] - OpenAI与芯片企业Cerebras达成总价超100亿美元的合作,将部署750 MW的Cerebras晶圆级系统,于2028年前建成全球最大高速AI推理平台 [36] - 机构Counterpoint Research预计,在AI与服务器需求推动下,2025年Q4存储价格将飙升40%–50%,2026年Q1还将再涨40%–50% [47] 科技巨头战略与资本开支 - “大空头”Michael Burry警告,AI正推动微软、谷歌和Meta等公司从轻资产软件模式转向资本密集型的硬件公司,投资人应关注投入资本回报率(ROIC)而非营收增长 [3] - Meta启动“Meta Compute”顶级战略项目,计划在2030年末前构建数十吉瓦的AI基础设施,并计划对Reality Labs部门裁员数百人(约10%员工),资源重心从元宇宙转向AI [24][29] - 微软公布新计划,旨在限制数据中心电力成本和用水量影响,确保不增加民众电费负担 [30] - 微软每年在Anthropic AI上的支出将达到近5亿美元 [32] - 谷歌母公司Alphabet市值首次突破4万亿美元,成为全球第四家跨越此门槛的公司,市场认为推动因素是与苹果达成AI合作 [25] - 谷歌与苹果敲定多年AI合作协议,将为新版Siri提供支持 [26] AI模型与技术创新 - 谷歌DeepMind CEO Demis Hassabis表示,中国的AI模型可能与美国和西方的进展仅相差几个月,中国开发者在主要AI基准测试中与美国同行水平相当 [5] - DeepSeek与北京大学发布新论文并开源记忆模块Engram,通过引入可扩展的查找记忆结构,在等参数、等算力条件下显著提升模型在知识调用、推理等任务上的表现 [6] - 美团开源“重思考”模型LongCat-Flash-Thinking-2601,在智能体工具调用等核心评测上达到开源模型SOTA水平,性能超越Claude-Opus-4.5-Thinking,可同时启动8个“大脑”执行任务 [16] - 美国斯坦福大学研究人员开发出AI模型SleepFM,可根据一晚上的睡眠数据预测约130种疾病的发病风险,模型使用来自6.5万名参与者、总时长近60万小时的数据训练 [48] AI应用与商业化落地 - 阿里千问App全面接入淘宝、支付宝、飞猪等阿里生态,上线超400项AI办事功能,成为全球首个能完成点外卖、订机票等真实生活复杂任务的AI助手 [12] - 支付宝联合千问App等发布中国首个面向Agent商业需求的开放技术协议框架ACT,为AI与电商等服务平台的协同打造“通用语言” [13] - 快手科技宣布,可灵AI在2025年12月当月收入突破2000万美元,对应年化收入运行率(ARR)达2.4亿美元,较2025年3月突破的1亿美元ARR大幅增长 [9] - 京东与联想深化“混合式AI”合作,联想AI新品将在京东首发,双方围绕智能设备与服务展开深度战略协同 [11] - 谷歌联合沃尔玛等零售商扩展其“双子座”AI模型的购物功能,引入“即时结账”,推动应用从“智能助手”升级为“虚拟商家” [23] - 谷歌表示Gemini推出个人智能产品,用户可通过连接应用程序来个性化Gemini [31] 融资、并购与IPO动态 - 自变量机器人完成10亿元A++轮融资,投资方包括字节跳动、红杉中国、深创投等,该公司是唯一同时获得字节、美团、阿里投资的具身智能企业 [37] - 机器人基础模型开发商Skild AI完成近14亿美元融资,由软银集团领投,英伟达风投等参投,公司估值突破140亿美元 [42] - 金融科技平台WeLab完成2.2亿美元D轮战略融资,为成立以来最大单轮融资,资金将用于拓展东南亚业务及支持AI愿景 [43] - 脑机接口初创公司Merge Labs完成2.52亿美元种子轮融资,OpenAI为最大投资方,其他投资者包括贝恩资本和Gabe Newell [44] - 钉钉前副总裁王铭创立的K2 Lab完成数千万元种子轮融资,由云时资本独家投资,用于打造面向超级个体的内容电商Agent基建 [40] - 报道称杭州“六小龙”之一强脑科技以保密形式提交港股IPO申请 [38] - OpenAI以约1亿美元的股权对价收购人工智能医疗健康应用程序公司Torch,或将助力其推出个性化健康助手功能 [39] - 阿里云完成对ZStack(云轴科技)的进一步战略投资并实现控股 [41] 行业趋势与市场观点 - 彭博行业研究表示,中国科技巨头指数在2026年的盈利增长有望自2022年以来首次超越“美股七巨头” [45] - 瑞银认为,与美国相比,中国出现系统性AI泡沫的概率要小得多,目前AI行业直接变现模式主要是云服务和广告 [50] - 贝莱德对732家客户的调查显示,仅五分之一认为美国大型科技集团是最具吸引力的投资机会,超半数受访者更看好数据中心电力供应商 [4] - 数据显示,截至目前,中国人工智能企业数量已超6200家 [51] - 外资巨头加码中国市场AI投研,如桥水招聘“中国政策AI研究助理”,要求运用AI工具洞察趋势并预测政策与资产走向 [49] - 国家数据局表示将加快建立数据产权登记制度,以推进数据流通使用,释放数据要素价值 [46] 公司动态与业务进展 - 百川智能创始人王小川表示,公司账上还有30亿元,可能于2027年启动上市计划 [7] - 用友网络公告,预计2025年度实现归属于母公司所有者的净亏损为13亿元到13.9亿元,同比减亏6.71亿元到7.61亿元 [10] - 云海医数推出“云键AI精灵”,采用不限时套餐收费模式,降低中医红外算法使用成本,推动技术向大健康及美容行业拓展 [14] - 智元创新购买数千小时的人形机器人训练数据,涉及拿杯子、抓盘子等多个动作 [15] - 科大讯飞发布基于“SuperAgent”框架的营销智能体平台,面向全链路营销场景 [18] - 腾讯云智能体开发平台(ADP)发布国内首个“AI原生Widget”,支持通过自然语言一句话生成交互组件 [20][21] - 英伟达将在未来五年内与礼来共同投资10亿美元建立人工智能药物实验室 [27] - OpenAI正寻找美国本土硬件供应商,为其计划的消费设备、机器人和云数据中心扩张寻找合作伙伴 [33] - 马斯克诉OpenAI案将于4月下旬进入陪审团审判程序 [34][35] - Anthropic封禁OpenCode等第三方工具,导致部分开发者项目中断,也被指切断了包括xAI在内的部分竞争对手对Claude模型的访问权限 [22]
刚刚,DeepSeek 突发梁文峰署名新论文:V4 新架构提前曝光?
AI前线· 2026-01-13 06:41
DeepSeek发布Engram技术成果 - 公司DeepSeek于今日凌晨在GitHub官方仓库开源了新论文与模块Engram,论文题为“Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models”,公司创始人梁文锋再次出现在合著者名单中 [2] - 该方法提出了一种新的“查—算分离”机制,通过引入可扩展的查找记忆结构,在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现 [5] - 代码与论文全文均已开源,论文与代码地址已公布 [6] Engram技术提出的背景与动机 - 当前主流大语言模型架构基于Transformer和MoE结构,MoE通过动态路由机制降低计算成本并扩展任务容量,DeepSeek自家系列模型也采用了先进的MoE方法 [8] - 在传统架构中,模型参数同时承担事实性记忆和逻辑推理与计算两种角色,这导致为增加知识记忆而增加参数量时,计算量会同步激增,MoE专家在处理“死记硬背”任务时依然不够高效 [9] - 神经网络用高昂的矩阵运算模拟简单的“查表检索”是一种浪费,Engram旨在实现“该查表的查表,该算的算”,以解决此困境 [9] Engram的核心思想与架构设计 - “Engram”一词源自神经科学,意为“记忆痕迹”,它是一个可扩展、可查找的记忆模块,用于语言模型在推理过程中检索过去可能已见过的模式或片段 [10] - 核心技术之一是现代化的哈希N-Gram嵌入,它对输入的Token序列进行N-Gram切片,并利用哈希算法将这些片段映射到一个巨大的、可学习的查找表中 [11][13] - 由于采用哈希索引,查找是确定性且O(1)时间复杂度的,这意味着无论存储多少记忆片段,检索速度几乎恒定且算力消耗极低 [13] - 该设计将一部分“记忆职责”从深度神经计算中卸载出来,使得模型拥有活跃神经通道处理复杂计算,也有静态记忆通道高效处理固定模式,这被称为“稀疏性的新轴” [14] - Engram具备条件记忆功能,会根据当前上下文的隐向量来决定提取哪些记忆,在架构设计上,Engram模块位于Transformer层的早期阶段,负责“模式重构” [14] Engram与MoE的关系及协同系统 - Engram提供了一个新的稀疏性轴,与MoE的条件计算不同,它通过条件查找提供静态记忆容量 [15] - 两者在目标、计算方式、优化方向和作用位置上存在区别:MoE目标为条件激活神经专家,计算方式为无极dense计算/激活部分专家,优化方向为降低活跃神经计算量,作用位置在深层推理;Engram目标为条件触发静态记忆查找,计算方式为O(1)查表,优化方向为减少神经计算重建已知模式,作用位置在早期模式重建/记忆检索 [16] - DeepSeek将Engram与MoE结合形成双系统:Engram模块负责海量知识点的“存储与快速检索”,MoE专家则摆脱记忆负担,全身心投入“逻辑推理与合成” [16] - 这种分工极大地优化了参数效率,在27B的实验模型中,Engram模块可以占用大量参数用于记忆,但在实际推理时只消耗极少的计算量 [16] Engram模型的性能表现 - 在多项基准测试中,Engram模型相比同参数规模模型展现出性能提升 [17] - 在27B参数规模下,Engram-27B模型在MMLU上的准确率为60.4%,高于MoE-27B的57.4%和Dense-4B的48.6% [17] - 在知识推理任务上,Engram-27B在ARC-Challenge上的准确率为73.8%,高于MoE-27B的70.1% [17] - 在代码与数学任务上,Engram-27B在GSM8K上的准确率为60.6%,高于MoE-27B的58.4% [17] - 随着参数增加至40B,Engram-40B在多项任务上性能继续提升,例如MMLU准确率达60.6%,ARC-Challenge准确率达76.4% [17] 行业与社区反响 - 在Reddit、X等平台,Engram的技术核心受到用户肯定,被认为让模型架构处理“记忆模式查找”和“神经计算推理”职责分离,开启了新的稀疏性方向 [18] - 有用户评论指出,Engram增加了静态记忆作为补充的稀疏性轴,查找复杂度为O(1),并发现MoE和Engram之间存在U形缩放规律,这指导着如何在两者之间分配容量 [19] - 有用户对基于n-gram lookup的O(1)查找机制表示兴趣,认为即便在不依赖GPU的环境下也能实现,让开发者对本地部署大模型功能有了更实际的期待 [20] - 专家群体开始从纯参数扩张思维转向更“智能”的架构设计,包括查表式模块和神经网络的协同,这种设计被认为是对传统NLP技术的现代化转换,具有较高的可行性和实用性 [21] - 社区评论指出,Engram很可能是DeepSeek即将发布的V4模型的核心技术基础,业内观察者认为该模块可能会成为DeepSeek V4的重要组成部分,预示下一代模型会在记忆和推理协同上实现架构级提升 [22][23] - 有网友表示,Meta之前也有过类似想法,但用到的技术不同 [26]