模型开源与生态战略 - 公司正式开源盘古70亿参数稠密模型和盘古Pro MoE 720亿参数混合专家模型,并发布基于昇腾的模型推理技术 [1] - 此举是公司推进昇腾生态战略的关键举措,旨在推动大模型技术研究创新和AI行业应用 [1] - 盘古Pro MoE 72B模型权重和基础推理代码已上线开源平台,盘古7B相关模型将于近期上线 [1] - 公司计划首先开源盘古72B MoE模型,其次可能向高校开源小模型 [2] 模型性能与技术优势 - 盘古Pro MoE大模型在720亿参数、激活160亿参数情况下,性能可媲美千亿级模型 [1] - 该模型在SuperCLUE 2025年5月排行榜中位列千亿参数以内大模型国内第一 [1] - 盘古72B被专家称为"兼顾性能与推理成本的黄金尺寸",适合行业AI改造 [1] - 公司推出7180亿参数的盘古Ultra MoE新模型,全流程在昇腾AI计算平台训练 [2] - 盘古718B Ultra MoE万卡集群预训练MFU达到41%,实验室达45% [3] - CloudMatrix384超节点训练MoE大模型MFU超过50% [3] 技术架构与优化 - 昇腾超节点采用全对等高速互联架构,通过系统工程方法实现计算、内存、通信的极致优化 [3] - 结合昇腾特点的亲和设计和数学算法创新,实现超级并行 [3] - 欧拉操作系统优化升级将支持资源池化管理与调度,提升训练效率和推理性能 [3] 产品升级与服务 - 公司发布盘古大模型5.5,升级NLP、CV、多模态等五大基础模型 [3] - 基于CloudMatrix 384超节点的新一代昇腾AI云服务全面上线 [3] 生态建设与兼容性 - 昇腾算力能够训练世界一流大模型,具有训练高效率、推理高性能、系统高可用特点 [2] - 第三方模型可做到Day0迁移和一键部署到昇腾平台 [2] - 昇腾生态正在逐步完善,包括对业界主流生态的兼容 [2]
华为开源盘古7B稠密和72B混合专家模型
观察者网·2025-06-30 10:38