现在，请大家一起 数一下"1"、"2" 。 而且啊，这个大模型还是 不用GPU 来训练，全流程都是大写的 "国产" 的那种。 这，就是华为通过 "昇腾+Pangu Ultra MoE" 这套组合拳解锁的效果—— OK，短短2秒钟时间，一个 准万亿MoE大模型 就已经 吃透 如何解一道 高等数学大题 了！ 不仅实现了国产算力与国产模型全流程自主可控的训练闭环，更是在集群训练系统性能方面达到行业领先 水平。 有多领先？来看一组数据： · 预训练阶段：昇腾Atlas 800T A2万卡集群MFU提升至41% · 后训练阶段：单CloudMatrix 384超节点吞吐达35K Tokens/s 不用GPU的"炼"准万亿大模型方法 在深入华为Pangu Ultra MoE训练系统全流程之前，老规矩，我们还是先来了解一下此前的技术痛点。 整体来看，在当前的MoE预训练和强化学习后训练过程中所存在的挑战可以归结为六点： · 并行策略配置困难 ：面对数据并行、张量并行、专家并行、流水线并行和序列并行等多种策略的组合 选择，加上稀疏激活导致的负载不平衡因素，很难通过人工经验找到最优的并行配置方案。 · All-to-All通信 ...