Workflow
Pangu Ultra MoE
icon
搜索文档
计算机行业“一周解码”:华为盘古团队推出全新 Pangu Ultra MoE 模型
中银国际· 2025-06-06 09:17
报告行业投资评级 - 强于大市 [1] 报告的核心观点 - 英伟达有望巩固全球半导体市场领导地位,但地缘政治和经济形势或影响其产品需求;DeepSeek - R1 - 0528升级收窄国产大模型与国际领先模型差距,开源策略推动教育科研普惠化、激发AI应用创新;华为盘古Pangu Ultra MoE模型发布有助于重构AI基础设施主权,吸引开发者适配昇腾生态 [6] 根据相关目录分别进行总结 本周重点关注事件 - 英伟达发布一季报,一季度营收441亿美元,环比增12%,同比增69%,净利润198.9亿美元,环比降10%,同比增31%,但受出口管制拖累,计提45亿美元费用;有望巩固全球半导体市场领导地位,但地缘政治和经济形势或影响需求 [6][11][12] - DeepSeek R1模型完成小版本升级至DeepSeek - R1 - 0528且继续开源,在多个基准测评成绩优异,接近国际顶尖模型;升级收窄国产大模型与国际领先模型差距,开源策略推动教育科研普惠化、激发AI应用创新 [6][13][14] - 华为盘古团队推出参数规模7180亿的Pangu Ultra MoE模型,发布架构与训练方法中文技术报告,完成国产算力+国产模型全流程自主可控训练实践;有助于推动人工智能发展应用,重构AI基础设施主权 [6][15][16] 新闻及公司动态 行业新闻 - 芯片及服务器:上海砺算收到G100芯片并完成测试,小米回应芯片传闻,手机重返大陆第一,印度首颗本土芯片将问世,联想中标服务器项目,英伟达洽谈融资,Steam创始人创业进展等 [17] - 云计算:立昂技术、江苏金租开展相关业务,腾讯、Salesforce获专利或收购,阿里云计算入股,Integra Optics推出光模块等 [18] - 人工智能:腾讯、必和必拓、Meta等有相关动作,日本设立“AI战略本部”,Meta人工智能助理月活达10亿等 [19] - 数字经济:华为亮相峰会,动易科技落地试验区,商务部表态,国家信用大数据中心揭牌,香港通过《稳定币条例草案》 [20] - 网络安全:格尔软件入选,国家通报AI绘图工具漏洞,北约提议纳入网络安全支出目标等 [20] - 工业互联网:华龙讯达、兴图新科亮相大会,三部门发文推动应用,2025工业互联网大会召开 [21] 公司动态 - 中科创达获7000万元专项贷款用于回购A股流通股 [3][22] - 启明星辰完成部分限制性股票回购注销,总股本变更 [22] - 光洋股份终止收购银球科技股权交易,股票复牌 [22] - 金山办公公布限制性股票激励计划部分归属结果,总股本变动 [3][23] - 捷顺科技注销部分未行权股票期权 [23] - 中科曙光与海光信息筹划重大资产重组,股票停牌 [24] 投资建议 - 关注华为产业链相关企业,如软通动力、拓维信息等;关注EDA软件相关企业,如广立微、华大九天等 [4]
昇腾+鲲鹏联手上大招!华为爆改MoE训练,吞吐再飙升20%,内存省70%
华尔街见闻· 2025-06-04 19:01
华为MoE训练系统技术突破 - 公司推出MoE训练算子和内存优化新方案,实现三大核心算子全面提速,系统吞吐提升20%,Selective R/S内存节省70% [1] - MoE架构凭借独特设计成为突破大规模模型训练算力瓶颈的关键路径,支持千亿至万亿参数规模 [3][11] - 通过昇腾与鲲鹏算力深度协同,从单节点视角优化NPU和CPU内部算子计算、下发及内存使用,实现技术突破并引领行业风向 [4][5][15] MoE训练效率挑战 - 单节点训练面临两大核心挑战:算子计算效率低导致Cube利用率不足,专家路由机制引发频繁算子下发中断 [7][8][9] - NPU内存资源紧张问题突出,大模型参数和前向传播激活值导致内存溢出风险,成为大规模训练永恒主题 [11][12][13][14] 昇腾算子计算加速方案 - 针对占计算耗时75%的FlashAttention、MatMul、Vector三大核心算子,提出"瘦身术"、"均衡术"、"搬运术"优化策略 [16][17] - FlashAttention优化计算顺序和流水排布,支持非对齐计算,前/反向性能提升50%/30% [19][20][21][24] - MatMul通过双级数据流水优化和矩阵子块斜向分配,Cube利用率提升10% [25][26][28] - Vector算子融合小算子减少数据搬运,性能提升3倍以上 [30][31][32] 昇腾鲲鹏协同优化 - Host-Device协同实现算子下发"零等待"(free时间<2%),训练吞吐再提升4%,累计加速达19.6% [33][42] - 等效计算同步消除和重排下发序优化使单次Host-Bound从2.1ms降至0.6ms [34][35][38] - 采用每NPU绑24核的粗粒度绑核方式,完全消除系统型持续Host-Bound [39][41] 内存优化技术 - Selective R/S技术实现多维度内存解剖,节省70%激活值内存 [33][43] - 建立包含细粒度重计算和Swap策略的"显微手术器械库",支持MLA、RmsNorm等模块优化 [45][46][48] - 创新内存管理机制,通过贪心算法和Swap带宽分析确定最优策略组合 [51][52] 行业影响 - 方案为Pangu Ultra MoE 718B模型训练提供高效低成本解决方案,扫清大规模训练障碍 [18][42][43][53] - 技术突破展现公司在AI算力领域深厚积累,为行业提供参考路径 [54]
昇腾+鲲鹏双核暴击!华为打通MoE训练任督二脉再加速20%,内存省70%
雷峰网· 2025-06-04 17:31
华为MoE训练技术突破 - 公司通过昇腾与鲲鹏算力深度协同,实现训练算子计算效率和内存利用率大幅提升,MoE训练吞吐提升20%,内存占用降低70% [6][7] - MoE架构凭借独特设计成为突破大规模模型训练算力瓶颈的关键路径,支持千亿至万亿参数规模 [3][4] - 行业面临单节点训练效率挑战,包括算子计算效率低、专家路由机制导致下发中断、NPU内存不足三大难题 [10][13][16] 昇腾算子计算加速方案 - 针对占计算耗时75%的FlashAttention/MatMul/Vector三大核心算子,采用"瘦身术/均衡术/搬运术"优化策略,整体训练吞吐提升15% [19][20][21] - FlashAttention算子通过消除冗余计算和优化流水线,前/反向性能分别提升50%/30% [23][25] - MatMul算子通过双级数据流水优化,Cube计算单元利用率提升10% [26][28] - Vector算子融合细粒度小算子并减少数据搬运,性能提升3倍以上 [30][32] 昇腾-鲲鹏协同优化 - 通过Host-Device协同实现算子下发"零等待"(free时间占比<2%),训练吞吐额外提升4% [34][44] - 采用重排下发序技术使单次Host-Bound时间从2.1ms降至0.6ms,降幅超70% [39] - 自定义粗粒度绑核策略(每NPU绑24核)完全消除系统型Host-Bound瓶颈 [43] 内存优化技术创新 - Selective R/S技术实现多维度内存解剖,节省70%激活值内存 [46] - 建立细粒度重计算与Swap策略库,涵盖MLA/RmsNorm/Permute等模块的定制化优化 [50][52] - 采用贪心算法和Swap带宽竞争分析实现自适应内存优化管理,平衡内存节省与额外耗时 [56] 行业影响与成果 - 该方案为Pangu Ultra MoE 718B模型训练扫清障碍,展现公司在AI算力领域的技术积累 [58] - 技术突破包括集群通信优化、算子加速、内存节省三大维度,形成完整解决方案 [17][21][46] - 成果为行业大规模MoE训练提供参考路径,推动AI模型参数规模持续扩展 [4][59]
上帝视角的昇腾MoE训练智能交通系统,Adaptive Pipe&EDPB让训练效率提升70%
华尔街见闻· 2025-06-03 21:05
混合专家(MoE)模型的发展与挑战 - 混合专家(MoE)模型通过动态路由机制分配输入token给不同专家网络,高效扩展模型参数并提升复杂任务处理能力 [1] - MoE模型在分布式集群训练时面临效率不足问题,主要因计算/通信等待和负载不均导致50%以上训练时间浪费 [2] MoE训练效率的核心瓶颈 - 专家并行(EP)引入All-to-All通信依赖,导致计算单元空闲等待,串行执行模式加剧资源闲置 [2] - 负载不均表现为热专家频繁调用(如部分专家使用率过高)与冷专家闲置,同时数据长度差异和模型层计算量不均导致跨设备等待 [2] 华为的优化方案架构 - 构建AutoDeploy仿真平台,通过三维建模和昇腾硬件映射,1小时内模拟百万次训练场景,精度达90%,为Pangu Ultra MoE 718B模型匹配出TP8/PP16/VPP2/EP32最优并行方案 [4][5] - Adaptive Pipe通信掩盖框架采用层次化All-to-All(跨机器通信加速1倍)和自适应细粒度调度,实现>98%通信掩盖,内存占用减半并降低计算空泡 [6][7] - EDPB全局负载均衡通过专家动态迁移、数据重排和虚拟流水线优化,解决负载不均问题,提升训练吞吐25.5% [10][14] 关键技术实现细节 - 层次化All-to-All分两步完成:跨机器数据块聚合+机内高速交换,减少数据拷贝量 [6] - 专家动态迁移采用多目标优化,预测负载趋势并实现毫秒级响应,结合双层贪心优化架构平衡计算与通信 [12][16] - 数据重排通过线性模型量化计算耗时,贪心算法构建最小耗时序列,保持精度无损下均衡Attention计算负载 [14] 系统整体性能提升 - 在Pangu Ultra MoE 718B模型8K序列训练中,Adaptive Pipe &EDPB方案实现端到端72.6%吞吐提升,类比智慧交通系统解决通信与计算阻塞 [17] - 虚拟流水线技术分离MTP层与输出层,将Embedding计算前移,规避Stage间等待问题 [14][19]
专家一半时间在摸鱼?Adaptive Pipe & EDPB让昇腾MoE训练效率提升70%
雷峰网· 2025-06-03 15:17
MoE模型训练效率挑战 - 混合专家(MoE)模型通过动态路由机制分配token给不同专家网络,实现参数规模化扩展和复杂任务处理优势[2] - 分布式训练中存在两大效率瓶颈:1)专家并行引入计算与通信等待,导致50%以上训练时间浪费在空闲等待[3][4];2)负载不均导致热专家过载而冷专家闲置[4] - 问题类比为城市交通拥堵:1)人车混行阻塞(计算等待通信);2)车道分配僵化(静态专家分配)[4] AutoDeploy仿真平台 - 基于昇腾硬件的数字孪生平台,通过三维建模和高精度硬件映射,1小时内模拟百万次训练场景,实现90%精度的最优并行策略自动选择[8] - 针对Pangu Ultra MoE 718B模型,自动求解出TP8/PP16/VPP2/EP32并行方案,平衡计算/通信/内存[8] Adaptive Pipe通信优化 - 采用层次化All-to-All通信:分机器间数据收集和机器内高速交换两步,相比传统All-to-All加速1倍[10] - 自适应细粒度调度将流水线并行内存占用减半,实现98%以上EP通信掩盖,计算几乎不受通信等待束缚[11] EDPB负载均衡技术 - 专家预测动态迁移(E):通过多目标优化实现专家跨设备智能流动,具备预测先行/双层优化/智能触发三大特性[17] - 数据重排(D)和虚拟流水线均衡(P)分别解决Attention计算不均和混合结构层间等待问题[19] - 整体在最优并行基础上带来25.5%吞吐提升[14] 系统综合收益 - 在Pangu Ultra MoE 718B模型8K序列训练中,Adaptive Pipe单独提升37.5%,EDPB再提升25.5%,端到端总吞吐提升达72.6%[22][23] - 方案类比为智慧交通系统:通信掩盖相当于行人地下通道,动态迁移相当于智能可变车道[22]
训练MoE足足提速70%!华为只用了3招
量子位· 2025-06-03 14:21
训练效率不足 ,甚至 一半以上训练时间都浪费在"等待"上 。 现在,为了突破MoE的训练瓶颈,华为出手了: 构建了一套名为 Adaptive Pipe & EDPB 的优化方案,开启"上帝视角",让MoE面临"交通拥堵"的训练集群, 实现无等待流畅运行。 MoE大规模训练难题:一半以上的训练时间在等待? 实践已经表明,MoE模型训练集群的效率面临两方面挑战: 首先,是 专家并行引入了计算和通信等待 。 允中 发自 凹非寺 量子位 | 公众号 QbitAI Scaling Law之下,MoE(混合专家)如今已经成为各大模型厂商扩展模型能力的制胜法宝。 不过,在高效实现模型参数规模化的同时,MoE的 训练难题 也日益凸显: 当模型规模较大时,需要切分专家到不同设备形成并行(EP),这就引入额外All-to-All通信。 与此同时,MoE层绝大部分EP通信与计算存在时序依赖关系,一般的串行执行模式会导致大量计算单元空闲, 等待通信。 其次, 负载不均会引入计算和计算等待 。 MoE算法核心是"有能者居之",在训练过程中会出现部分热专家被频繁调用,而冷专家使用率较低的情况。 同时,真实训练数据的长度不一,不同的模型层 ...
华为的准万亿大模型,是如何训练的?
虎嗅APP· 2025-05-30 18:18
现在,请大家一起数一下"1"、"2"。 OK,短短2秒钟时间,一个准万亿MoE大模型就已经吃透如何解一道高等数学大题了。 HUAWEI X HUXIU 三分之一个世纪前,加拿大学者们提出了经典的MoE模型神经网络结构,在人类探索AI的 「石器时代」中,为后世留下了变革的火种。 近十年前,美国硅谷的互联网巨擎在理论和工程等方面,突破了MoE模型的原始架构,让这 个原本被置于学术高阁的理念,化身成为了随后AI竞争的导火索。 如今,后发优势再一次来到了大洋此岸,以华为为代表的中国科技企业,纷纷提出对MoE架 构的优化重组方案。尤其是华为的MoGE架构,不仅克服了MoE负载不均衡及效率瓶颈的弊 病,还能够降本增效,便于训练和部署。 AI之战远未终结,但正如在其他领域中「多快好省」的中国产业底色一样,大模型这棵生于 西方长于彼岸的科技树,也同样会被东方智慧经手后,进化为更加普适和亲切的工具。 近期,虎嗅将打造《华为技术披露集》系列内容,通过一连串的技术报告,首次全面披露相 关的技术细节。 希望本系列内容能为业界起到参考价值,也希望更多人能与华为一起,共同打造长期持续的 开放协作生态环境,让昇腾生态在中国茁壮成长。 《华 ...
不用GPU,大模型每2秒吃透一道高数大题!这就是华为的实力
雷峰网· 2025-05-30 17:48
华为昇腾与Pangu Ultra MoE技术创新 - 公司通过"昇腾+Pangu Ultra MoE"组合实现国产算力与模型全流程自主可控训练闭环,集群训练系统性能达行业领先水平[4] - 预训练阶段昇腾Atlas 800T A2万卡集群MFU提升至41%,后训练阶段单CloudMatrix 384超节点吞吐达35K Tokens/s[5] - 首次披露高效打通大稀疏比MoE强化学习后训练框架的关键技术,推动RL后训练进入超节点集群时代[6][7] MoE模型训练技术痛点与解决方案 - 当前MoE训练存在六大挑战:并行策略配置困难、All-to-All通信瓶颈、系统负载不均、算子调度开销大、训练流程管理复杂、大规模扩展受限[10][11] - 公司提出三阶段解决方案: - 提升训练集群利用率:通过智能并行优化、分层All-to-All通信去冗余、EDP全局负载均衡策略,将专家并行通信开销降至<2%[14][18][19] - 释放昇腾单节点算力:采用昇腾亲和算子加速、Host-Device协同下发优化、Selective R/S内存手术方案,实现MBS翻倍和70%激活值内存节省[22][25][27] - RL后训练创新:RL Fusion训推共卡技术支持多维并行策略动态切换,准异步机制StaleSync使训练吞吐提升50%[28][30] Pangu Ultra MoE模型性能突破 - 模型架构:7180亿参数,61层Transformer(3稠密层+58 MoE层),256路由专家+1共享专家,隐层维度7680[35] - 预训练性能:6K-10K卡昇腾800T A2集群实现8K序列长度下41% MFU,预计CloudMatrix 384超节点可支撑MFU>50%[35] - 后训练性能:CloudMatrix 384超节点实现35K Tokens/s吞吐,支持4K卡集群扩展,等效每2秒完成高数大题级推理任务[36] 技术架构创新细节 - 并行策略:采用16路流水线并行+8路张量并行+32路专家并行+2路虚拟流水线并行的混合架构[15] - 通信优化:分层专家并行通信结合虚拟流水线并行掩盖策略,实现计算通信深度融合[18] - 内存管理:构建自适应内存优化框架,支持模块级到张量级的细粒度内存调配[26] - 训推协同:支持分离部署/训推共卡/全共卡三种模式,秒级完成状态转换[28][33]
每2秒吃透一道高数大题!华为终于揭秘准万亿MoE昇腾训练系统全流程
华尔街见闻· 2025-05-30 17:38
现在,请大家一起 数一下"1"、"2" 。 OK,短短2秒钟时间,一个 准万亿MoE大模型 就已经吃透如何解一道 高等数学大题 了! 而且啊,这个大模型还是 不用GPU 来训练,全流程都是大写的 "国产" 的那种。 这,就是华为通 过 " 昇腾+Pan gu Ultra MoE" 这套 组合拳解锁的效果—— 不仅实现了国产算力与国产模型全流程自主可控的训练闭环,更是在集群训练系统性能方面达到行 业领先水平。 有多领先?来看一组数据: 预训练阶段:昇腾Atlas 800T A2万卡集群MFU提升至41% 后训练阶段:单CloudMatrix 384超节点吞吐达35K Tokens/s 值得一提的是,华为还 首次 把背后的一大秘籍给亮了出来。 具体来说,华为在这次发布的 技术报告 中,披露了在昇腾CloudMatrix 384超节点上,高效打通 大稀疏比MoE强化学习后训练框架的关键技术。 此举可以说是让以强化学习(RL)为核心机制的后训练,进入到了超节点集群时代。 不用GPU的"炼"准万亿大模型方法 在深入华为Pangu Ultra MoE训练系统全流程之前,老规矩,我们还是先来了解一下此前的技术 痛点。 整体 ...
华为AI实力!不用GPU,大模型每2秒吃透一道高数大题!
第一财经· 2025-05-30 17:32
现在,请大家一起 数一下"1"、"2" 。 而且啊,这个大模型还是 不用GPU 来训练,全流程都是大写的 "国产" 的那种。 这,就是华为通过 "昇腾+Pangu Ultra MoE" 这套组合拳解锁的效果—— OK,短短2秒钟时间,一个 准万亿MoE大模型 就已经 吃透 如何解一道 高等数学大题 了! 不仅实现了国产算力与国产模型全流程自主可控的训练闭环,更是在集群训练系统性能方面达到行业领先 水平。 有多领先?来看一组数据: · 预训练阶段:昇腾Atlas 800T A2万卡集群MFU提升至41% · 后训练阶段:单CloudMatrix 384超节点吞吐达35K Tokens/s 不用GPU的"炼"准万亿大模型方法 在深入华为Pangu Ultra MoE训练系统全流程之前,老规矩,我们还是先来了解一下此前的技术痛点。 整体来看,在当前的MoE预训练和强化学习后训练过程中所存在的挑战可以归结为六点: · 并行策略配置困难 :面对数据并行、张量并行、专家并行、流水线并行和序列并行等多种策略的组合 选择,加上稀疏激活导致的负载不平衡因素,很难通过人工经验找到最优的并行配置方案。 · All-to-All通信 ...