大模型训推系统的效率挑战 - 超过60%的算力浪费在硬件资源错配与系统耦合上，传统优化方法难以解决芯片特性的"三角矛盾"（算力-带宽-容量失衡）[1] - 大规模训练集群存在利用率黑洞，MoE模型需要精准平衡计算与内存配比，极致压缩通信占比，否则效率骤降[3] - 动态实时推理系统任务两极分化，需同时满足高吞吐与低延迟，在不同任务场景实现动态效率最优[3] 数字化风洞技术 - 在虚拟环境中"彩排"AI模型训推，模拟不同参数、输入和资源分配方案，提前发现计算系统瓶颈点和逻辑漏洞[2] - 华为构建昇腾"数字化风洞"，能够小时级预演万卡集群方案，通过性能加速与高可用性实现大模型"又快又稳"运行[2] - 动静态融合的大规模训练集群建模仿真方法，通过有向无环图精准刻画模型对计算、内存、通信的需求[7] Sim2Train训练集群优化 - 通过全量部署空间搜索、动态性能感知调度优化等技术释放算力潜能，实现并行配置、内存管理等小时级自动寻优，支撑MFU达成41%[4] - 负载-软件-硬件协同优化范式发现最优设计与优化方案，包括模型结构智能搜索、全栈架构建模与策略联合优化等[7] - 实现毫秒级资源再平衡与故障容错，保障作业万级小时无间断运行[3] Sim2Infer推理系统优化 - 通过推理服务多层级量化建模、动态智能优化等技术，实现高性能动态专家激活、自适应混合精度推理等，端到端推理性能提升30%+[5] - 构建多层次推理系统建模仿真，集成负载特征建模、层次化系统架构分析等五大核心功能模块[10] - 通过多维代价模型建模实现软硬件协同推理加速创新，在昇腾平台上综合实现推理性能提升30%+[10] Sim2Availability高可用架构 - 通过随机优化搜索、灵敏度分析等技术实现集群硬件架构可靠性瓶颈定位及优化，支撑万卡集群分钟级快恢，可用度达成98%[9] - 硬件故障模式全栈监控，通过马尔科夫链刻画系统随机行为，构建状态转移模型[9][11] - 软件统一协同管控仿真，通过动态规划弹性调度、极致去冗余并行掩盖优化等技术提升算力系统可用度[11] 未来发展方向 - 随着新型应用快速变化和系统架构持续创新，算力基础设施的架构设计与优化空间持续激增[12] - 需要深化负载自动图化建模、多维架构耦合仿真等关键技术，在系统瓶颈分析、最优部署策略求解等领域发力[12] - 推动国产算力基础设施建设与AI计算技术创新，助力华为昇腾集群高效平稳运行[12]

大模型训推系统的挑战与优化 - 大模型训推系统面临硬件资源错配与系统耦合问题，超过60%的算力浪费在这些方面 [1] - 传统优化方法难以解决芯片特性的"三角矛盾"（算力-带宽-容量失衡） [1] - 动态负载需求下存在软硬件博弈的三大挑战 [2] 数字化风洞解决方案 - 采用"先模拟后实战"方式，在虚拟环境中预演复杂AI模型的表现 [3] - 华为构建昇腾"数字化风洞"，能小时级预演万卡集群方案 [3] - 通过Sim2Train实现训练集群架构仿真与设计空间自动寻优，支撑MFU达成41% [3] 训练集群优化 - 大规模训练集群存在利用率黑洞问题，MoE模型需要精准平衡计算与内存配比 [5] - 通过动静态融合的建模仿真方法，快速精准扫描模型对计算、内存、通信的需求 [6] - 实现负载-软件-硬件协同优化，达成模型性能与功能能力的最优均衡 [6] 推理系统优化 - 推理系统任务呈现两极分化，需同时满足高吞吐与低延迟 [5] - 通过Sim2Infer实现推理系统架构仿真与运行时在线自优化 [5] - 端到端推理性能提升30%+，实现高性能动态专家激活和自适应混合精度推理 [7] 高可用架构 - 通过Sim2Availability实现高可用架构仿真与统一协同管控 [9] - 支撑万卡集群分钟级快恢，可用度达成98% [9] - 采用随机优化搜索、灵敏度分析等技术实现集群硬件架构可靠性优化 [9] 未来发展方向 - 新型应用快速变化推动系统架构持续创新 [11] - 需要建模仿真方法支撑算力基础设施持续演进 [11] - 深化负载自动图化建模、多维架构耦合仿真等关键技术 [11] 多层级推理系统 - 构建负载生成-请求调度-推理引擎-硬件系统四层架构 [12] - 集成五大核心功能模块实现复杂推理建模仿真 [12] - 通过软硬协同实现推理性能提升30%+ [12] 故障监控与恢复 - 采用马尔科夫链刻画系统随机行为，构建状态转移模型 [13] - 通过蒙特卡洛分析硬件可靠性瓶颈 [13] - 实现动态规划弹性调度和极致去冗余并行掩盖优化 [13]

大模型 训推系统 宛如一辆精密调校的赛车，即便搭载顶级引擎（高算力芯片），如果油箱（内存）、变 速箱（带宽）与路况（任务类型）不匹配，仍会陷入 "龟速"困局。华为研究团队发现，超过60%的算力 浪费在硬件资源错配与系统耦合上，而传统"人拉肩扛"的优化方法在芯片特性的"三角矛盾"（算力-带宽- 容量失衡）前束手无策。 01 三大挑战：动态负载需求下的软硬件博弈 大规模训练集群 的 利用率黑洞 ： 大模型训练 过程像驾驶中的 "猛踩油门"（ 训练 阶段密集计算） ， MoE模型更如混合动力车，需精准平衡计算与内存配比， 极致压缩通信占比， 稍有不慎便效率 骤降。 动态实时 推理系统 任务的两极分化 ：从短问答（城市道路）到长文本生成（越野山路）， 推理阶 段 硬件需同时满足高吞吐与低延迟，如同要求一辆车兼具超跑的提速能力与越野的持久耐力 ，在不 同任务场景实现动态效率最优 。 复杂万卡集群的 长稳运行： 为 突破 计算 -内存动态博弈 （服务区分配） 、异构任务资源争抢 （车祸变道） 及硬件耐久性 （车道维护） 瓶颈， 需 实现毫秒级资源再平衡与故障容错，保障作业 万级小时无间断运行。 " 业界首次发布昇腾建模仿 ...

HUAWEI X HUXIU 在通往通用人工智能（AGI）的路上，如何像其他领域一样实现弯道超车，是业界绕不开的话 题。 在过去的十余年时间里，各项单点技术飞速演进，但随着单点技术演进的边际效应递减和系 统复杂度的提升，系统性能的天花板逐步从单点技术的上限演变成系统工程上限：单点优势 越来越像是精致的零件，提升空间有限；但采用系统工程创新，各个部分完美配合、高效协 同，实现整个系统的效能最优，才有更积极的现实意义。 如何在发挥单点技术优势的同时，以整体视角重新构建路径，通过对复杂系统的极致把控与 再组织、找到新的突破可能？解决这个看似不可能的问题，就有望为我们独立引领最前沿技 术发展创造条件。 近期，虎嗅将推出《华为技术披露集》系列内容，通过一系列技术报告，首次全面详述相关 技术细节，为业界提供参考价值。 我们期待通过本系列内容，携手更多伙伴共同构建开放协作的生态系统，助力昇腾生态在中 国的蓬勃发展。 《华为技术披露集》系列 VOL.15 ：建模仿真 大模型训推系统宛如一辆精密调校的赛车，即便搭载顶级引擎（高算力芯片），如果油箱 （内存）、变速箱（带宽）与路况（任务类型）不匹配，仍会陷入"龟速"困局。华为研究 ...

算力集群技术演进 - AI算力集群通过连接上万台计算机形成"算力航空母舰"，解决大模型训练中的协同工作、故障恢复等世界级难题 [3] - 万卡集群可用度达到98%，实现训练+推理场景下的秒级快速恢复 [1] 超节点高可用技术 - 采用系统层/业务层/运维层三级容错方案，将故障转为亚健康问题并通过运维手段消除 [5] - 系统层通过超时代答欺骗OS和网络路由切换防止超节点级故障 [5] - 业务层实现租户无感知的网络闪断重试，运维层通过主动感知技术削减亚健康事件影响 [6] 集群线性度优化 - 华为提出TACO、NSF、NB、AICT四项关键技术，实现算力规模与性能的近似线性增长 [8] - 实测Pangu Ultra 135B模型在4K卡集群线性度达96%，718B MoE模型在8K卡集群线性度95.05% [8] 万卡训练恢复技术 - 采用进程级重调度恢复技术将训练中断恢复时间缩短至3分钟内 [12] - 进程级在线恢复技术针对硬件UCE故障实现30秒内恢复，算子级在线恢复实现通信算子秒级重执行 [12] MoE模型推理容错 - 大EP组网架构下提出三级容错方案，实例恢复时间从20分钟降至5分钟 [14][15] - TOKEN级重试技术实现30-60秒实例恢复，减卡弹性恢复技术实现用户无感知的秒级恢复 [15] 故障诊断体系 - 构建全栈可观测能力，包含集群运行视图、网络链路监控等模块 [17] - 故障诊断覆盖全栈故障模式库、跨域诊断、计算节点诊断等维度 [17] 建模仿真平台 - 马尔科夫建模仿真平台实现训练吞吐提升4.5%-8.24%，通信暴露时间降低89.84% [20] - 推理建模仿真平均误差低至6.6%，高可用建模实现全周期故障场景仿真 [21] 框架迁移方案 - MindSpore通过MSAdapter工具覆盖90%以上PyTorch接口，实现第三方框架无缝迁移 [23] - 推理阶段支持HuggingFace权重一键部署，盘古72B模型实现推理性能提升 [23] 行业发展趋势 - 算力基础设施将形成"应用需求→硬件创新→工程反哺"的闭环演进路径 [25] - 未来方向包括算法驱动算力专用化、光电混合架构革新、AI智能化运维等 [25]

( 3 ) Sim2Av a il abilit y高可用建模仿真： 马尔科夫高可用建模仿真框架，通过离散时间步长 仿真，建模单步时长内的故障性能劣化影响与恢复耗时，模拟复杂系统训练任务中的故障场 景及运维响应，实现对训练过程性能表现与故障恢复状态的全周期监控仿真。 建模仿真：算力底座的"数字化风洞" 框架迁移：给模型跑车换更酷炫轮胎 总结与展望 你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译，甚至帮医生看 CT 片，这些能 力背后离不开一个默默工作的 "超级大脑工厂"——AI 算力集群。随着人工智能从简单规则判断 进化到能处理万亿参数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而算力集群则是 把上万台甚至几十万台计算机像搭积木一样连接起来，形成一艘能承载巨量计算任务的 "算力航 空母舰"。 当我们把上万台计算机整合成一个有机整体时，需要解决一系列世界级难题：如何让它们像 精密钟表一样协同工作？如何在部分设备故障时依然保持高效运行？如何快速修复大规模训 练中的中断问题？接下来我们将逐一揭秘这些支撑 AI 算力集群的关键特性，看看华为团队如 何用工程智慧驯服这头算力巨兽。 超节点高可用 ...