文章核心观点 - 当前基于Transformer架构的大模型面临算力消耗大、效率低、与物理世界脱节等核心瓶颈，通用人工智能的实现路径亟待突破 [2] - 行业正从“规模竞赛”转向“效率革命”，探索超越自回归Transformer的新计算范式，特别是物理第一性原理模型与新型硬件的融合 [2][38] - 中兴通讯的论文为下一代AI大模型计算范式提供了重要参考，其自身在微架构创新和新型算法硬件探索方面的实践抢占了技术高地 [2][36][38] LLM现状及瓶颈 - 大模型性能遵循规模扩展定律，依赖计算量、参数量和训练数据量的堆叠，但训练沉没成本极高，例如Grok4模型在20万卡集群耗时半年才完成预训练 [4][5] - Transformer架构计算效率低，算术强度仅为2，远低于卷积神经网络的数百，导致模型算力利用率低，并高度依赖先进工艺和高带宽存储器 [6] - 随着模型参数和上下文长度增加，Transformer架构瓶颈与摩尔定律放缓的矛盾将更突出，面临“功耗墙”和“内存墙”挑战 [7] - 现有LLM存在幻觉、可解释性差等问题，其“Next Token Prediction”核心被部分学者认为难以真正理解物理世界，智能进步严重依赖“暴力缩放” [9] LLM自回归模式的工程改进和优化 - 算法层面通过优化注意力机制（如GQA、MLA、Flash-Attention）和采用低精度量化（如4-bit）来提升效率，但量化会引入误差 [13][14] - 循环递归参数复用架构（如Universal Transformer）通过参数共享提升算术强度，但其大规模扩展后的能力尚不明确 [15] - 集群系统采用张量、数据、流水线和专家并行等范式，混合专家模型可将计算量缩减为原来的1/32，预填充和解码阶段分离部署可提升硬件利用率 [16] - 端云AI协同搭建“快慢思考”系统，端侧处理实时推理，云端处理复杂任务 [17] 硬件工程创新 - 微架构领域专用化，引入异步数据搬移和混合精度训练；通过Scale Up和Scale Out域划分进行互联优化，Scale Up域采用Nvlink提供200纳秒超低延迟 [18] - 光电混合集群和“存算一体”等新型计算范式是构建万卡以上集群、突破“内存墙”的关键技术 [18][19] - 基于光IO技术重构计算体系结构和基于3D DRAM构建新型内存体系是两大前瞻性硬件工程技术 [21] - 万卡以上集群部署需通过算网存仿真平台进行优化 [20] 下一代AI大模型计算范式演进和展望 - AGI的实现需根本性变革，产业界正探索不以Next-Token Prediction为核心的新范式，基于能量、动力学等第一性原理的模型成为重要方向 [23][24] - 新模型发展分为两类：一是改进的Transformer架构，如Diffusion LLM可将推理吞吐量提升10倍以上，能耗减少至1/10；二是基于物理第一性原理的架构，如液态神经模型和基于能量的模型 [26][27][28] - 未来AI计算更受能耗限制，催生三大新型计算范式：物理原理启发（光计算、量子计算、电磁计算）、基于材料特性（概率计算、吸引子网络、热力学计算）和生物启发（类脑计算、DNA计算）的架构 [29][30][31][32][33][34] 中兴通讯的探索与实践 - 公司在微架构层面进行创新，如利用8T SRAM数字存内计算技术实现高能效AI加速器，其XPU-PIM异构架构在能效和吞吐量上相比常规GPU有数量级提升 [36] - 公司探索从物理第一性原理出发的新路线，如循环式Transformer架构可在减少超50%参数量的同时保持模型表达能力，基于FPGA的稀疏玻尔兹曼机将训练时间从超过10小时缩短至5分钟，加速超2个数量级 [36][37] - 公司在光连接、新型内存等支撑性工程技术以及大规模仿真平台等架构技术方面展开前瞻性研究 [37]