Workflow
昇腾硬件平台
icon
搜索文档
华为盘古大模型与腾AI计算平台,共同构建软硬一体的AI技术体系
国泰海通证券· 2025-08-06 21:52
行业投资评级 - 报告未明确提及行业投资评级 [1] 核心观点 - 华为通过盘古大模型与昇腾AI计算平台构建软硬一体的AI技术体系,从追赶SOTA模型转向为昇腾硬件量身定制模型架构 [2] - 盘古大模型演进的核心是解决大规模分布式系统中的效率难题,特别是混合专家(MoE)架构的负载不均衡问题 [2] - 华为推出Pangu Pro MoE和Pangu Ultra MoE两种创新路径,分别通过架构创新和系统级优化最大化昇腾硬件效率 [2] - CloudMatrix AI基础设施通过统一总线网络等技术创新,为上层软件创新提供物理基础 [4] - 全栈协同是华为AI的核心战略路径,包括模型开放和硬件生态建设 [5] 目录总结 盘古大模型演进 - 盘古大模型从PanGu-α(2000亿参数)起步,基于昇腾910和MindSpore框架 [6] - PanGu-Σ(1.085万亿参数)首次尝试稀疏化架构,采用随机路由专家(RRE)和ECSS异构计算方案 [8][9][11] - 盘古3.0推出"5+N+X"三层架构,面向政务、金融等行业深度优化 [15][16] - 盘古5.5全面拥抱MoE架构,Pangu Ultra MoE(718B参数)和Pangu Pro MoE(72B参数)针对昇腾硬件优化 [20][21] Pangu Pro MoE创新 - 采用分组专家混合(MoGE)架构,通过结构性设计解决负载不均衡问题 [26][28] - 在昇腾800I A2硬件上实现Prefill阶段吞吐量比72B稠密模型高203% [40] - 推理阶段达到平均每卡1148 tokens/s,使用多令牌预测后提升至1528 tokens/s [40] Pangu Ultra MoE优化 - 采用仿真先行设计方法,通过系统仿真确定最优模型架构 [48] - 选择Dropless路由和EP-Group辅助损失,优先保障模型性能 [49][51] - 在6000卡昇腾集群上实现30%模型算力利用率(MFU),相对基线提升58.7% [55] CloudMatrix基础设施 - 采用PDC解耦架构,将Prefill、Decode和Caching分离为独立资源池 [66] - 通过统一总线(UB)网络实现跨节点通信延迟仅1.9µs,带宽164GB/s [88] - 昇腾910C NPU采用双Die封装和异构设计,单芯片提供752 TFLOPS BF16算力 [97] - CANN软件栈连接上层框架与底层硬件,支持算子融合等优化 [102]
H20获得“口头放行”之后,英伟达需要重新认识中国市场
经济观察报· 2025-07-15 15:47
英伟达H20 GPU重新销售申请 - 英伟达正在提交重新销售NVIDIA H20 GPU的申请,美国政府已保证将授予许可证,公司希望尽快启动交付 [1][2] - H20是专为中国市场设计的"特供"AI芯片,2023年4月被列入美国出口管制名单 [1][2] - 公司强调在美国加强AI基础设施的同时,也探讨AI如何提高中国生产力 [3] H20芯片的技术规格与合规背景 - H20基于Hopper架构,FP16/BF16算力为148 TFLOPS,显著低于H100的1979 TFLOPS,但总体处理性能(TPP)低于4800 TPP的管制红线 [6] - H20显存配置升级至96GB HBM3,带宽4.0 TB/s,单卡NVLink互联带宽保持900 GB/s与H100持平 [7] - 跨节点集群互联受限于美国对高速网络设备的管制,无法使用NVIDIA Quantum-2 InfiniBand方案(400 GB/s带宽) [7] 中国AI芯片市场竞争格局 - 中国AI服务器市场中外购芯片比例预计从2024年63%降至2025年42%,本土芯片占比将达40% [13] - 2024年上半年中国加速服务器市场规模50亿美元(同比+63%),其中非GPU芯片驱动的市场增速达182% [13] - 本土AI芯片品牌出货量占加速芯片总市场的20%(20万张/90万张) [13] - 中国移动191亿元AI服务器采购项目全部由华为昇腾生态合作伙伴中标 [14] 本土化生态与英伟达的市场挑战 - 头部云厂商(阿里、百度、腾讯、科大讯飞)已全面适配华为昇腾平台,构建国产化AI基础设施 [16] - 英伟达需面对性能削减后的产品竞争力问题,以及本土厂商在价格、服务、生态协同上的优势 [16] - 客户已投入资源建设国产化AI生态,重返英伟达技术体系的决策成本较高 [17] 英伟达的多产品策略 - 公司同步推出NVIDIA RTX PRO GPU,瞄准智能工厂和物流的数字孪生AI应用 [10] - 工业AI领域符合中国制造业升级政策,且出口管制风险较低 [10]
华为回应!
是说芯语· 2025-07-07 11:22
华为盘古大模型争议回应 核心观点 - 华为盘古Pro MoE开源模型为基于昇腾硬件平台自主开发的基础大模型,非基于其他厂商模型增量训练[1][2] - 模型架构设计包含关键创新:全球首个面向昇腾平台的同规格混合专家模型,采用分组混合专家模型(MoGE)架构解决分布式训练负载均衡问题[2] - 部分基础组件代码参考业界开源实践,但严格遵循开源许可证要求并标注版权声明,符合开源社区规范[1][2] 技术特性 - 模型创新点包括提升训练效率的技术方案,具体细节可参考昇腾生态竞争力技术报告[2] - 开发团队强调尊重第三方知识产权,坚持开放协作的开源理念[2] 社区互动 - 华为邀请开发者在Ascend Tribe开源社区进行技术细节交流[3] - 公司表达对开源社区建设性意见的重视,希望通过开源协作优化模型能力并加速产业落地[2][3] 背景信息 - 声明由华为诺亚方舟实验室发布,未提及与阿里巴巴通义千问模型的具体技术对比[4] - 文末附中国半导体行业相关活动信息,但与主体内容无直接关联[4][5]