Workflow
循环Transformer (Loop Transformer)
icon
搜索文档
GLM-5.5最新曝光!「降智」问题3张重置卡已到位
量子位· 2026-10-23 08:16
文章核心观点 - 智谱通过用户补偿通知间接透露下一代模型GLM-5.5即将发布,网上关于其参数规模与架构升级的传闻持续升温 [2][4] - 传闻GLM-5.5参数规模可能达2.5万亿至3.5万亿,较GLM-5.3的7430亿扩大约3.4倍至4.7倍 [5][9][11] - 智谱已在GLM-5.3-Flash上验证线性注意力与稀疏注意力结合的混合架构及mHC技术,推理价格降至GLM-5.2的约十分之一,该路线有望扩展至万亿参数级别 [19][20][22] - 循环Transformer技术已在智谱中期报告中披露并初步验证,核心目标是提升模型有效推理深度,是否应用于GLM-5.5尚未官方确认 [26][28][35] 参数规模 - 网上小道消息称GLM-5.5参数规模可能达到2.5万亿至3.5万亿,比此前传闻的1.6万亿还要大上一截 [5] - 2025年8月发布的GLM-5.3总参数量约为7430亿,采用MoE混合专家架构 [9] - 若传闻属实,下一代GLM参数规模将扩大至GLM-5.3的3.4倍至4.7倍左右 [11] - 对MoE模型而言,总参数量与每次推理实际激活的参数量是两码事,每处理一个Token通常只调用部分专家网络参与计算,参数规模暴涨并不代表推理计算量同比例增长 [13][14][15] - 若传闻属实,仍意味着智谱准备在模型容量上进行相当大幅度的扩展 [16] 架构升级 - GLM-5.5可能迎来重大架构升级,今年8月智谱发布GLM-5.3-Flash时已对底层架构进行大幅调整 [17][19] - GLM-5.3-Flash首次在GLM系列中引入线性注意力与稀疏注意力结合的混合架构,同时采用mHC技术改善模型内部信息传递和训练稳定性 [19] - 该组合使GLM-5.3-Flash在多项评测中超过GLM-5.2,推理价格降至后者的约十分之一 [20] - 智谱已在上一代模型中验证了兼顾模型能力与推理效率的新路线,若扩展至万亿参数级别,下一代GLM有机会在扩大模型容量的同时继续压低推理成本 [21][22][23] 循环Transformer技术 - 循环Transformer是否用于GLM-5.5是市场关注的重要猜测,智谱今年8月中期报告已明确介绍该技术并透露在初步实验中验证了相关思路 [25][26] - 循环Transformer核心目标是让AI想得更深,可让模型反复调用同一组网络层,在不显著增加参数量的情况下完成更多轮内部计算,提升有效推理深度 [27][28] - 智谱判断参数规模决定模型能存储多少信息,计算深度关系模型能进行多复杂的推理 [29] - 编程、网络安全等复杂任务往往需要连续完成十几步甚至几十步判断,网络安全任务可能要求模型沿长达20步的因果链持续推理,每一步都需保持逻辑连贯 [30][31] - 循环Transformer探索的方向是让模型沿复杂因果链持续推理,提高多步骤任务处理能力,同时允许在不显著增加参数量情况下增加计算深度 [32][33] - 循环次数增加会带来额外计算开销,如何平衡推理深度与运行效率仍是需要解决的问题,该技术是否应用于GLM-5.5尚无官方确认 [34][35] 智谱2025年模型迭代路径 - 2025年2月GLM-5发布 [36] - 2025年4月GLM-5.1跟进 [37] - 2025年6月GLM-5.2上线,重点提升复杂任务和长时间Agent执行能力 [38] - 2025年8月GLM-5.3发布,继续强化编程能力,随后GLM-5.3-Flash亮相,开始在模型架构与推理效率上进行新探索 [39] - 迭代路线显示智谱持续围绕编程、Agent、深度推理及推理效率进行升级,若GLM-5.5在这些方向继续突破,下一代旗舰升级幅度值得期待 [40][41]