据了解，华为最新开源的Pro MoE 72B大模型，在参数量仅为720亿，激活160亿参数量的情况下，通过动态激活专家网络的创新设计，实现了以小打大的优异性 能，甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单Super CLUE最新公布的2025年5月排行榜上，位居千亿参数量以内大模型排行并列国内第一。 华为加入开源大军，开源了首个大模型。 6月30日，华为宣布开源盘古70亿参数的稠密模型和720亿参数的混合专家模型（盘古Pro MoE 72B）。此外，基于昇腾的模型推理技术也同步开源。华为表示，此 举是华为践行昇腾生态战略的又一关键举措，将推动大模型技术的研究与创新发展，加速推进人工智能在千行百业的应用与价值创造。 最近一段时间以来，华为公开了一系列基于昇腾的大模型技术，让国内AI开发者备感期待。 今年6月20日举办的华为开发者大会2025上，华为重磅发布了盘古大模型5.5。全新升级的盘古大模型5.5包含了五大基础模型，分别面向NLP（自然语言处理）、多 模态、预测、科学计算、计算机视觉领域，推动大模型成为行业数智化转型的核心动力。会上，华为还发布了基于Cloud Matrix384超节点的新一代昇 ...

值得一提的是，5月30日，证券时报·券商中国记者从华为获悉，华为在MoE模型训练领域再进一步，重 磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练 的准万亿MoE模型。同时，华为发布盘古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细 节，充分体现了昇腾在超大规模MoE训练性能上的跨越。 据悉，训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一 难题，华为盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿 MoE模型的全流程训练。 "一年以来，盘古大模型深入行业解难题，在30多个行业、500多个场景中落地。"6月20日下午，在华为 开发者大会2025上，华为常务董事、华为云计算CEO张平安分享了盘古大模型在工业、农业、科研等领 域的丰富创新应用和落地实践，并重磅发布盘古大模型5.5，在自然语言处理、多模态等5大基础模型全 面升级，加速重塑千行万业。 会上，华为云还发布了盘古医学、金融、政务、工业、汽车五个具备深度思考能力的行业自然语言大模 型，加速行业智能化，并将在6月底正式上 ...

华为盘古Ultra MoE模型突破 - 公司推出参数规模高达7180亿的全新模型盘古Ultra MoE，实现全流程在昇腾AI计算平台训练的准万亿MoE模型 [1] - 披露模型架构和训练方法技术报告，体现昇腾在超大规模MoE训练性能上的跨越 [1] - 针对训练稳定性难题，团队创新设计Depth-Scaled Sandwich-Norm架构和TinyInit小初始化方法，实现18TB数据长期稳定训练 [4] - 采用EP loss负载优化方法保证专家间负载均衡并提升领域特化能力，结合MLA/MTP架构及Dropless策略实现效果与效率平衡 [4] 昇腾平台技术进展 - 在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习后训练框架关键技术，使RL后训练进入超节点集群时代 [5] - 通过自适应流水掩盖策略、算子优化、内存管理等技术迭代，万卡集群预训练MFU从30%提升至41% [5] - 盘古Pro MoE模型以720亿参数量实现媲美千亿级模型的性能，在SuperCLUE榜单中位列千亿级以内国内并列第一 [5] 国产AI全栈自主可控意义 - 实现国产算力+国产模型全流程自主可控训练实践，集群训练系统性能达业界领先水平 [3] - 证明昇腾平台可高效稳定训练国际顶尖水平超大规模稀疏模型，完成从硬件到软件的全栈国产化闭环 [6] 其他国产大模型动态 - DeepSeek-R1-0528模型开源，代码能力媲美OpenAI o3高版本，上下文长度扩展至128k且文本理解能力显著提升 [7] - 腾讯在AI产业应用峰会展示混元大模型矩阵升级，涵盖云基础设施、开发工具及场景应用，推动企业AI化转型 [7][8]

5月30日，券商中国记者从华为获悉，华为在MoE模型训练领域再进一步，重磅推出参数规模高达7180亿的全 新模型——盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。同时，华为发布盘 古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细节，充分体现了昇腾在超大规模MoE训练性能 上的跨越。 中国AI产业注入强心剂。 业内人士分析，华为盘古Ultra MoE和盘古Pro MoE系列模型的发布，证明华为不仅完成了国产算力+国产模 型的全流程自主可控的训练实践，同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设 施的自主创新能力得到了进一步验证，为中国人工智能产业的发展提供了一颗"定心丸"。 国产算力与国产模型重大突破 据悉，训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难题， 华为盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿MoE模型的全流 程训练。 在模型架构上，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法， ...