报告行业投资评级 - 强于大市 [1] 报告的核心观点 - 英伟达有望巩固全球半导体市场领导地位，但地缘政治和经济形势或影响其产品需求；DeepSeek - R1 - 0528升级收窄国产大模型与国际领先模型差距，开源策略推动教育科研普惠化、激发AI应用创新；华为盘古Pangu Ultra MoE模型发布有助于重构AI基础设施主权，吸引开发者适配昇腾生态 [6] 根据相关目录分别进行总结 本周重点关注事件 - 英伟达发布一季报，一季度营收441亿美元，环比增12%，同比增69%，净利润198.9亿美元，环比降10%，同比增31%，但受出口管制拖累，计提45亿美元费用；有望巩固全球半导体市场领导地位，但地缘政治和经济形势或影响需求 [6][11][12] - DeepSeek R1模型完成小版本升级至DeepSeek - R1 - 0528且继续开源，在多个基准测评成绩优异，接近国际顶尖模型；升级收窄国产大模型与国际领先模型差距，开源策略推动教育科研普惠化、激发AI应用创新 [6][13][14] - 华为盘古团队推出参数规模7180亿的Pangu Ultra MoE模型，发布架构与训练方法中文技术报告，完成国产算力+国产模型全流程自主可控训练实践；有助于推动人工智能发展应用，重构AI基础设施主权 [6][15][16] 新闻及公司动态 行业新闻 - 芯片及服务器：上海砺算收到G100芯片并完成测试，小米回应芯片传闻，手机重返大陆第一，印度首颗本土芯片将问世，联想中标服务器项目，英伟达洽谈融资，Steam创始人创业进展等 [17] - 云计算：立昂技术、江苏金租开展相关业务，腾讯、Salesforce获专利或收购，阿里云计算入股，Integra Optics推出光模块等 [18] - 人工智能：腾讯、必和必拓、Meta等有相关动作，日本设立“AI战略本部”，Meta人工智能助理月活达10亿等 [19] - 数字经济：华为亮相峰会，动易科技落地试验区，商务部表态，国家信用大数据中心揭牌，香港通过《稳定币条例草案》 [20] - 网络安全：格尔软件入选，国家通报AI绘图工具漏洞，北约提议纳入网络安全支出目标等 [20] - 工业互联网：华龙讯达、兴图新科亮相大会，三部门发文推动应用，2025工业互联网大会召开 [21] 公司动态 - 中科创达获7000万元专项贷款用于回购A股流通股 [3][22] - 启明星辰完成部分限制性股票回购注销，总股本变更 [22] - 光洋股份终止收购银球科技股权交易，股票复牌 [22] - 金山办公公布限制性股票激励计划部分归属结果，总股本变动 [3][23] - 捷顺科技注销部分未行权股票期权 [23] - 中科曙光与海光信息筹划重大资产重组，股票停牌 [24] 投资建议 - 关注华为产业链相关企业，如软通动力、拓维信息等；关注EDA软件相关企业，如广立微、华大九天等 [4]

华为MoE训练系统技术突破 - 公司推出MoE训练算子和内存优化新方案，实现三大核心算子全面提速，系统吞吐提升20%，Selective R/S内存节省70% [1] - MoE架构凭借独特设计成为突破大规模模型训练算力瓶颈的关键路径，支持千亿至万亿参数规模 [3][11] - 通过昇腾与鲲鹏算力深度协同，从单节点视角优化NPU和CPU内部算子计算、下发及内存使用，实现技术突破并引领行业风向 [4][5][15] MoE训练效率挑战 - 单节点训练面临两大核心挑战：算子计算效率低导致Cube利用率不足，专家路由机制引发频繁算子下发中断 [7][8][9] - NPU内存资源紧张问题突出，大模型参数和前向传播激活值导致内存溢出风险，成为大规模训练永恒主题 [11][12][13][14] 昇腾算子计算加速方案 - 针对占计算耗时75%的FlashAttention、MatMul、Vector三大核心算子，提出"瘦身术"、"均衡术"、"搬运术"优化策略 [16][17] - FlashAttention优化计算顺序和流水排布，支持非对齐计算，前/反向性能提升50%/30% [19][20][21][24] - MatMul通过双级数据流水优化和矩阵子块斜向分配，Cube利用率提升10% [25][26][28] - Vector算子融合小算子减少数据搬运，性能提升3倍以上 [30][31][32] 昇腾鲲鹏协同优化 - Host-Device协同实现算子下发"零等待"（free时间<2%），训练吞吐再提升4%，累计加速达19.6% [33][42] - 等效计算同步消除和重排下发序优化使单次Host-Bound从2.1ms降至0.6ms [34][35][38] - 采用每NPU绑24核的粗粒度绑核方式，完全消除系统型持续Host-Bound [39][41] 内存优化技术 - Selective R/S技术实现多维度内存解剖，节省70%激活值内存 [33][43] - 建立包含细粒度重计算和Swap策略的"显微手术器械库"，支持MLA、RmsNorm等模块优化 [45][46][48] - 创新内存管理机制，通过贪心算法和Swap带宽分析确定最优策略组合 [51][52] 行业影响 - 方案为Pangu Ultra MoE 718B模型训练提供高效低成本解决方案，扫清大规模训练障碍 [18][42][43][53] - 技术突破展现公司在AI算力领域深厚积累，为行业提供参考路径 [54]

华为MoE训练技术突破 - 公司通过昇腾与鲲鹏算力深度协同，实现训练算子计算效率和内存利用率大幅提升，MoE训练吞吐提升20%，内存占用降低70% [6][7] - MoE架构凭借独特设计成为突破大规模模型训练算力瓶颈的关键路径，支持千亿至万亿参数规模 [3][4] - 行业面临单节点训练效率挑战，包括算子计算效率低、专家路由机制导致下发中断、NPU内存不足三大难题 [10][13][16] 昇腾算子计算加速方案 - 针对占计算耗时75%的FlashAttention/MatMul/Vector三大核心算子，采用"瘦身术/均衡术/搬运术"优化策略，整体训练吞吐提升15% [19][20][21] - FlashAttention算子通过消除冗余计算和优化流水线，前/反向性能分别提升50%/30% [23][25] - MatMul算子通过双级数据流水优化，Cube计算单元利用率提升10% [26][28] - Vector算子融合细粒度小算子并减少数据搬运，性能提升3倍以上 [30][32] 昇腾-鲲鹏协同优化 - 通过Host-Device协同实现算子下发"零等待"(free时间占比<2%)，训练吞吐额外提升4% [34][44] - 采用重排下发序技术使单次Host-Bound时间从2.1ms降至0.6ms，降幅超70% [39] - 自定义粗粒度绑核策略(每NPU绑24核)完全消除系统型Host-Bound瓶颈 [43] 内存优化技术创新 - Selective R/S技术实现多维度内存解剖，节省70%激活值内存 [46] - 建立细粒度重计算与Swap策略库，涵盖MLA/RmsNorm/Permute等模块的定制化优化 [50][52] - 采用贪心算法和Swap带宽竞争分析实现自适应内存优化管理，平衡内存节省与额外耗时 [56] 行业影响与成果 - 该方案为Pangu Ultra MoE 718B模型训练扫清障碍，展现公司在AI算力领域的技术积累 [58] - 技术突破包括集群通信优化、算子加速、内存节省三大维度，形成完整解决方案 [17][21][46] - 成果为行业大规模MoE训练提供参考路径，推动AI模型参数规模持续扩展 [4][59]

混合专家（MoE）模型的发展与挑战 - 混合专家（MoE）模型通过动态路由机制分配输入token给不同专家网络，高效扩展模型参数并提升复杂任务处理能力 [1] - MoE模型在分布式集群训练时面临效率不足问题，主要因计算/通信等待和负载不均导致50%以上训练时间浪费 [2] MoE训练效率的核心瓶颈 - 专家并行（EP）引入All-to-All通信依赖，导致计算单元空闲等待，串行执行模式加剧资源闲置 [2] - 负载不均表现为热专家频繁调用（如部分专家使用率过高）与冷专家闲置，同时数据长度差异和模型层计算量不均导致跨设备等待 [2] 华为的优化方案架构 - 构建AutoDeploy仿真平台，通过三维建模和昇腾硬件映射，1小时内模拟百万次训练场景，精度达90%，为Pangu Ultra MoE 718B模型匹配出TP8/PP16/VPP2/EP32最优并行方案 [4][5] - Adaptive Pipe通信掩盖框架采用层次化All-to-All（跨机器通信加速1倍）和自适应细粒度调度，实现>98%通信掩盖，内存占用减半并降低计算空泡 [6][7] - EDPB全局负载均衡通过专家动态迁移、数据重排和虚拟流水线优化，解决负载不均问题，提升训练吞吐25.5% [10][14] 关键技术实现细节 - 层次化All-to-All分两步完成：跨机器数据块聚合+机内高速交换，减少数据拷贝量 [6] - 专家动态迁移采用多目标优化，预测负载趋势并实现毫秒级响应，结合双层贪心优化架构平衡计算与通信 [12][16] - 数据重排通过线性模型量化计算耗时，贪心算法构建最小耗时序列，保持精度无损下均衡Attention计算负载 [14] 系统整体性能提升 - 在Pangu Ultra MoE 718B模型8K序列训练中，Adaptive Pipe &EDPB方案实现端到端72.6%吞吐提升，类比智慧交通系统解决通信与计算阻塞 [17] - 虚拟流水线技术分离MTP层与输出层，将Embedding计算前移，规避Stage间等待问题 [14][19]

MoE模型训练效率挑战 - 混合专家(MoE)模型通过动态路由机制分配token给不同专家网络，实现参数规模化扩展和复杂任务处理优势[2] - 分布式训练中存在两大效率瓶颈：1)专家并行引入计算与通信等待，导致50%以上训练时间浪费在空闲等待[3][4]；2)负载不均导致热专家过载而冷专家闲置[4] - 问题类比为城市交通拥堵：1)人车混行阻塞(计算等待通信)；2)车道分配僵化(静态专家分配)[4] AutoDeploy仿真平台 - 基于昇腾硬件的数字孪生平台，通过三维建模和高精度硬件映射，1小时内模拟百万次训练场景，实现90%精度的最优并行策略自动选择[8] - 针对Pangu Ultra MoE 718B模型，自动求解出TP8/PP16/VPP2/EP32并行方案，平衡计算/通信/内存[8] Adaptive Pipe通信优化 - 采用层次化All-to-All通信：分机器间数据收集和机器内高速交换两步，相比传统All-to-All加速1倍[10] - 自适应细粒度调度将流水线并行内存占用减半，实现98%以上EP通信掩盖，计算几乎不受通信等待束缚[11] EDPB负载均衡技术 - 专家预测动态迁移(E)：通过多目标优化实现专家跨设备智能流动，具备预测先行/双层优化/智能触发三大特性[17] - 数据重排(D)和虚拟流水线均衡(P)分别解决Attention计算不均和混合结构层间等待问题[19] - 整体在最优并行基础上带来25.5%吞吐提升[14] 系统综合收益 - 在Pangu Ultra MoE 718B模型8K序列训练中，Adaptive Pipe单独提升37.5%，EDPB再提升25.5%，端到端总吞吐提升达72.6%[22][23] - 方案类比为智慧交通系统：通信掩盖相当于行人地下通道，动态迁移相当于智能可变车道[22]

训练效率不足 ，甚至 一半以上训练时间都浪费在"等待"上 。 现在，为了突破MoE的训练瓶颈，华为出手了： 构建了一套名为 Adaptive Pipe & EDPB 的优化方案，开启"上帝视角"，让MoE面临"交通拥堵"的训练集群， 实现无等待流畅运行。 MoE大规模训练难题：一半以上的训练时间在等待？ 实践已经表明，MoE模型训练集群的效率面临两方面挑战： 首先，是 专家并行引入了计算和通信等待 。 允中 发自 凹非寺 量子位 | 公众号 QbitAI Scaling Law之下，MoE（混合专家）如今已经成为各大模型厂商扩展模型能力的制胜法宝。 不过，在高效实现模型参数规模化的同时，MoE的 训练难题 也日益凸显： 当模型规模较大时，需要切分专家到不同设备形成并行（EP），这就引入额外All-to-All通信。 与此同时，MoE层绝大部分EP通信与计算存在时序依赖关系，一般的串行执行模式会导致大量计算单元空闲， 等待通信。 其次， 负载不均会引入计算和计算等待 。 MoE算法核心是"有能者居之"，在训练过程中会出现部分热专家被频繁调用，而冷专家使用率较低的情况。 同时，真实训练数据的长度不一，不同的模型层 ...

现在，请大家一起数一下"1"、"2"。 OK，短短2秒钟时间，一个准万亿MoE大模型就已经吃透如何解一道高等数学大题了。 HUAWEI X HUXIU 三分之一个世纪前，加拿大学者们提出了经典的MoE模型神经网络结构，在人类探索AI的 「石器时代」中，为后世留下了变革的火种。 近十年前，美国硅谷的互联网巨擎在理论和工程等方面，突破了MoE模型的原始架构，让这 个原本被置于学术高阁的理念，化身成为了随后AI竞争的导火索。 如今，后发优势再一次来到了大洋此岸，以华为为代表的中国科技企业，纷纷提出对MoE架 构的优化重组方案。尤其是华为的MoGE架构，不仅克服了MoE负载不均衡及效率瓶颈的弊 病，还能够降本增效，便于训练和部署。 AI之战远未终结，但正如在其他领域中「多快好省」的中国产业底色一样，大模型这棵生于 西方长于彼岸的科技树，也同样会被东方智慧经手后，进化为更加普适和亲切的工具。 近期，虎嗅将打造《华为技术披露集》系列内容，通过一连串的技术报告，首次全面披露相 关的技术细节。 希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的 开放协作生态环境，让昇腾生态在中国茁壮成长。 《华 ...

华为昇腾与Pangu Ultra MoE技术创新 - 公司通过"昇腾+Pangu Ultra MoE"组合实现国产算力与模型全流程自主可控训练闭环，集群训练系统性能达行业领先水平[4] - 预训练阶段昇腾Atlas 800T A2万卡集群MFU提升至41%，后训练阶段单CloudMatrix 384超节点吞吐达35K Tokens/s[5] - 首次披露高效打通大稀疏比MoE强化学习后训练框架的关键技术，推动RL后训练进入超节点集群时代[6][7] MoE模型训练技术痛点与解决方案 - 当前MoE训练存在六大挑战：并行策略配置困难、All-to-All通信瓶颈、系统负载不均、算子调度开销大、训练流程管理复杂、大规模扩展受限[10][11] - 公司提出三阶段解决方案： - 提升训练集群利用率：通过智能并行优化、分层All-to-All通信去冗余、EDP全局负载均衡策略，将专家并行通信开销降至<2%[14][18][19] - 释放昇腾单节点算力：采用昇腾亲和算子加速、Host-Device协同下发优化、Selective R/S内存手术方案，实现MBS翻倍和70%激活值内存节省[22][25][27] - RL后训练创新：RL Fusion训推共卡技术支持多维并行策略动态切换，准异步机制StaleSync使训练吞吐提升50%[28][30] Pangu Ultra MoE模型性能突破 - 模型架构：7180亿参数，61层Transformer（3稠密层+58 MoE层），256路由专家+1共享专家，隐层维度7680[35] - 预训练性能：6K-10K卡昇腾800T A2集群实现8K序列长度下41% MFU，预计CloudMatrix 384超节点可支撑MFU>50%[35] - 后训练性能：CloudMatrix 384超节点实现35K Tokens/s吞吐，支持4K卡集群扩展，等效每2秒完成高数大题级推理任务[36] 技术架构创新细节 - 并行策略：采用16路流水线并行+8路张量并行+32路专家并行+2路虚拟流水线并行的混合架构[15] - 通信优化：分层专家并行通信结合虚拟流水线并行掩盖策略，实现计算通信深度融合[18] - 内存管理：构建自适应内存优化框架，支持模块级到张量级的细粒度内存调配[26] - 训推协同：支持分离部署/训推共卡/全共卡三种模式，秒级完成状态转换[28][33]

现在，请大家一起 数一下"1"、"2" 。 OK，短短2秒钟时间，一个 准万亿MoE大模型 就已经吃透如何解一道 高等数学大题 了！ 而且啊，这个大模型还是 不用GPU 来训练，全流程都是大写的 "国产" 的那种。 这，就是华为通 过 " 昇腾+Pan gu Ultra MoE" 这套 组合拳解锁的效果—— 不仅实现了国产算力与国产模型全流程自主可控的训练闭环，更是在集群训练系统性能方面达到行 业领先水平。 有多领先？来看一组数据： 预训练阶段：昇腾Atlas 800T A2万卡集群MFU提升至41% 后训练阶段：单CloudMatrix 384超节点吞吐达35K Tokens/s 值得一提的是，华为还 首次 把背后的一大秘籍给亮了出来。 具体来说，华为在这次发布的 技术报告 中，披露了在昇腾CloudMatrix 384超节点上，高效打通 大稀疏比MoE强化学习后训练框架的关键技术。 此举可以说是让以强化学习（RL）为核心机制的后训练，进入到了超节点集群时代。 不用GPU的"炼"准万亿大模型方法 在深入华为Pangu Ultra MoE训练系统全流程之前，老规矩，我们还是先来了解一下此前的技术 痛点。 整体 ...

现在，请大家一起 数一下"1"、"2" 。 而且啊，这个大模型还是 不用GPU 来训练，全流程都是大写的 "国产" 的那种。 这，就是华为通过 "昇腾+Pangu Ultra MoE" 这套组合拳解锁的效果—— OK，短短2秒钟时间，一个 准万亿MoE大模型 就已经 吃透 如何解一道 高等数学大题 了！ 不仅实现了国产算力与国产模型全流程自主可控的训练闭环，更是在集群训练系统性能方面达到行业领先 水平。 有多领先？来看一组数据： · 预训练阶段：昇腾Atlas 800T A2万卡集群MFU提升至41% · 后训练阶段：单CloudMatrix 384超节点吞吐达35K Tokens/s 不用GPU的"炼"准万亿大模型方法 在深入华为Pangu Ultra MoE训练系统全流程之前，老规矩，我们还是先来了解一下此前的技术痛点。 整体来看，在当前的MoE预训练和强化学习后训练过程中所存在的挑战可以归结为六点： · 并行策略配置困难 ：面对数据并行、张量并行、专家并行、流水线并行和序列并行等多种策略的组合 选择，加上稀疏激活导致的负载不平衡因素，很难通过人工经验找到最优的并行配置方案。 · All-to-All通信 ...