大模型开源与技术突破 - 华为一次性开源两个大模型：70亿参数的稠密模型「盘古 Embedded」和720亿参数的混合专家模型「盘古 Pro MoE」，同时开源基于昇腾的模型推理技术 [1] - 盘古 Pro MoE在SuperCLUE 5月榜单中位列千亿参数量以内模型国内并列第一，智能体任务表现比肩6710亿参数的DeepSeek-R1，文本理解与创作领域排名开源模型第一 [2] - 盘古 Embedded在学科知识、编码、数学和对话能力方面优于同期同规模模型 [2] 核心技术优势 - 采用分组混合专家MoGE算法、自适应快慢思考合一、全链路高性能推理系统优化等技术，显著提升训练和推理效率 [3] - 盘古 Embedded通过迭代式蒸馏微调、延迟容忍调度框架、双系统快慢思维框架三大技术，实现推理延迟降低与精度保持，尤其适合移动设备等资源受限场景 [12][13] - 盘古 Pro MoE通过MoGE架构解决负载不均衡问题，结合混合并行优化、通算融合、量化压缩等方法，在昇腾910/310硬件平台实现推理效率大幅提升 [16] 模型性能与部署 - 盘古 Pro MoE总参数720亿，激活参数160亿，在4000+昇腾NPU集群长稳训练，通用知识、数学推理等能力优于同规模模型 [16][17] - 昇腾平台针对盘古 Pro MoE优化H2Parallel分层混合并行、TopoComm拓扑亲和通信、DuoStream多流融合等技术，实现极致推理性能 [20][21] 行业应用与演示 - 盘古 Pro MoE将在通用问答、复杂推理、金融场景等任务中进行实例演示，展示模型特性 [24] - 技术分享涵盖模型训练优化、推理系统实践及实际应用效果，面向学术与行业从业者提供洞察 [4][5] 研究团队背景 - 核心研究人员来自华为诺亚方舟实验室和先进计算与存储实验室，包括陈汉亭（大语言模型架构专家）、唐业辉（MoE模型训练专家）、李小松（推理系统优化专家）等，均在国际顶会发表多篇高引论文 [14][18][22]