华为发布准万亿模型盘古Ultra MoE
快讯·2025-05-30 16:17
模型发布与性能 - 公司推出参数规模达7180亿的新模型“盘古Ultra MoE”,为准万亿级MoE模型 [1] - 近期发布的盘古Pro MoE大模型参数量为720亿,激活参数量为160亿 [1] - 盘古Pro MoE大模型在SuperCLUE 2025年5月排行榜上,于千亿参数量以内大模型中并列国内第一 [1] 技术平台与架构 - 盘古Ultra MoE是全流程在昇腾AI计算平台上训练的模型 [1] - 公司同时发布了该模型架构和训练方法的技术报告 [1] - 在昇腾CloudMatrix 384超节点上,打通了大稀疏比MoE强化学习后训练框架的关键技术 [1] 训练方法突破 - 公司首次披露使强化学习后训练进入超节点集群时代的关键技术 [1]