想象一下，你正在用手机导航规划长途路线，背后可能有几十个 AI 模型同时在分析路况、预测 拥堵；医院用 AI 辅助诊断癌症时，系统需要瞬间处理成百上千张 CT 影像。这些看似简单的智 能应用，背后都依赖着像 "超级大脑" 一样的 AI 算力集群在 24 小时不停运转。 如果把 AI 算力集群比作一个大型工厂的生产线，高可用性就相当于让这条生产线具备 "永不 罢工" 的能力，给 AI 算力集群上了一份 "保险"，让这个支撑智能时代的 "数字发动机" 既能 承 受 日 常 的 " 小 磕 小 碰 " ， 又 能 在 遇 到 突 发 故 障 时 保 持 稳 定 运 行 。 只 有 确 保 算 力 资 源 随 时 可 用、持续输出，才能让 AI 真正成为驱动业务创新的可靠引擎，而不是随时可能熄火的 "半成 品"。 高可用核心基础——面向超节点的故障感知、管理及容错 AI大集群问题定位复杂，系统规模大、软硬技术栈复杂、调用链长，先要跨域故障定界，然 后各域内部故障定界定位，故障诊断面临巨大挑战；当前定位时间从数小时到数天，技能要 求高 ，难以找到故障设备和根因。华为团队为了让集群运维工具能够快速找到问题原因，有 效提升 ...

AI算力集群高可用性技术 核心观点 - AI算力集群需具备"永不罢工"能力，通过高可用性技术保障24小时稳定运行，成为驱动业务创新的可靠引擎[1] - 华为提出六大创新方案解决AI集群故障率高、恢复慢等问题，包括三大基础能力（故障感知诊断、故障管理、光链路容错）和三大业务支撑能力（集群线性度、训练快恢、推理快恢）[12] 技术方案细节 故障感知与诊断 - 行业现状：万卡级AI集群日均故障≥1次，故障定位耗时数小时至数天[2] - 华为方案： - 构建全栈可观测能力（集群运行视图/告警视图/网络链路监控等）[2] - 开发四大诊断技术（全栈故障模式库/跨域故障诊断/计算节点诊断/网络诊断）[2] - 实现千种故障模式库与分钟级故障诊断[12] 硬件可靠性提升 - 通过可靠性系统工程实现CloudMatrix超节点万卡集群MTBF>24小时[3] - 光链路容错方案： - 首创光链路软件容错技术，容忍度>99%[3] - 新增10倍光模块后闪断率降至电链路水平[3] - HBM多比特ECC故障恢复时间缩短至1min，算力损失下降5%[3] 训练效率优化 - 线性度提升技术： - 采用TACO、NSF、NB、AICT四项关键技术[4] - 实测结果： - 135B稠密模型4K卡线性度96%[6] - 718B稀疏模型8K卡线性度95.05%，4K卡线性度96.48%[6] - 训练快恢系统： - 万卡集群恢复时间<10min[7] - 进程级重调度恢复<3min，在线恢复<30s[9] - 训练回滚时间缩短至单个迭代周期[9] 推理容错方案 - 大EP组网架构下提出三级容错：实例间切换/实例内重启/实例内无损恢复[9] - 关键技术突破： - 实例内重启恢复<5min[10] - TOKEN级重试技术使HBM KV Cache故障恢复<10s，较行业标准提升60倍[10] 技术成效 - 万卡集群可用度达98%[12] - 训推恢复最快达秒级[12] - 集群线性度>95%[12]

高可用性AI算力集群的核心价值 - AI算力集群作为智能应用的"超级大脑"，需具备"永不罢工"能力以支撑实时路况分析、医疗影像处理等高强度任务[2] - 高可用性相当于为集群上"保险"，使其既能应对日常故障又能保持突发故障下的稳定运行，避免成为"半成品"引擎[2] 故障感知与管理技术突破 - 行业现状：万卡级AI集群日均故障≥1次，故障定位耗时数小时至数天，严重影响训练效率[4] - 创新方案： - 构建全栈可观测能力（集群运行/告警视图、网络链路监控等）实现秒级故障感知[4] - 开发四大诊断技术（全栈故障模式库、跨域/计算节点/网络诊断）[4] - 建立可靠性分析模型，使CloudMatrix超节点MTBF＞24小时[4] 光链路容错技术 - 首创超节点光链路软件容错方案，通过多层防护体系实现： - 光模块闪断容忍度＞99%[5] - 新增10倍光模块后闪断率降至电链路水平[5][6] - HBM多比特ECC故障恢复时间缩短至1分钟，算力损失下降5%[6] 集群线性度优化 - 采用TACO、NSF等四项关键技术提升训练线性度： - Pangu Ultra 135B稠密模型在4K卡集群实现96%线性度[10] - Pangu Ultra MoE 718B稀疏模型在8K卡集群达95.05%线性度[10] 训练任务快恢系统 - 分层级恢复能力： - 万卡集群整体恢复＜10分钟[12] - 进程级重调度恢复＜3分钟[12] - 进程级在线恢复≤30秒[12] - 关键技术包括数据集索引加速、模型编译缓存等[12] 推理业务容错方案 - 大EP组网架构三级容错： - 实例内重启恢复＜5分钟[14] - TOKEN级重试技术使HBM KV Cache故障恢复＜10秒，较行业提升60倍[14] 综合技术成果 - 六大创新方案实现： - 万卡集群可用度98%[16] - 训推秒级快恢[16] - 线性度＞95%[16] - 千种故障模式库与分钟级诊断[16] 未来技术方向 - 聚焦三大领域：新应用场景多元化、异构融合架构突破、智能自治工程范式[16]

通用人工智能（AGI）与系统工程创新 - 单点技术演进边际效应递减，系统性能天花板转向系统工程上限，需通过系统工程创新实现系统效能最优[1] - 以整体视角重构路径，通过复杂系统的极致把控与再组织寻找技术突破可能，有望独立引领前沿技术发展[1] 高可用性核心基础 - 华为构建全栈可观测能力，包括集群运行视图、告警视图、网络链路监控等，提升故障感知能力[5] - 建立AI集群全系统可靠性分析模型，实现CloudMatrix超节点万卡集群MTBF大于24小时的硬件高可靠能力[6] - 提出超节点光链路软件容错方案，光模块闪断故障率容忍度>99%，新增10倍+光模块后闪断率低至电链路水平[6] 高可用性业务支撑 - 训练Pangu Ultra 135B稠密模型时，4K卡集群相比256卡基线线性度达96%；Pangu Ultra MoE 718B稀疏模型8K卡集群线性度95.05%[11] - 万卡集群训练恢复时间优化至10min以内，进程级重调度恢复缩短至3min，进程级在线恢复进一步压缩至30s[14] - 大EP推理架构采用三级容错方案，实例内重启恢复时间压缩至5min内，TOKEN级重试技术使故障影响减少60倍[16] 创新方案与未来方向 - 六大创新方案包括故障感知诊断、故障管理、光链路容错三大基础能力，以及集群线性度、训练快恢、推理快恢三大业务支撑能力[18] - 未来将在场景多元化、异构融合与资源池化、极致可观可测与智能自治免维三个方向持续探索[18]

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 大模型的落地能力，核心在于性能的稳定输出，而性能稳定的底层支撑，是强大的算力集群。其中，构建万卡级算力集群，已成为全球公认 的顶尖技术挑战。 但是，在 华为 ，昇腾万卡算力集群，已经可以做到近乎 "永不罢工" 了： 或许有小伙伴要问了：AI算力需要如此24小时不间断的运作吗？ 关于这一切背后的秘密，华为在今天首次把技术给公开了出来。 高可用的核心：三套"智能保险系统" 答案是肯定的，需要，且有必要。 因为小到我们用手机导个航，背后都会有几十个AI模型在发力来分析路况、预测拥堵；再如医院用AI辅助诊断癌症，系统得在瞬间处理掉成 百上千的CT照片。 这些看似简单的智能应用，其实都离不开如 "超级大脑" 般的AI算力集群，需要它们全天候不停歇地运转着。 而要保证有这样的能力，高训练可用度、高线性度、快速消除故障，就相当于给AI发动机上了一份强有力的保险。 更严格来说，AI推理的可用度甚至还需要 达到99.95%的程度。 那么华为又是如何做到这点的？ AI大集群出问题时，定位故障特别麻烦；毕竟系统规模庞大，软件和硬件组成的技术栈错综复杂，而且调用链条还很长。 要解 ...

算力集群技术演进 - AI算力集群通过连接上万台计算机形成"算力航空母舰"，解决大模型训练中的协同工作、故障恢复等世界级难题 [3] - 万卡集群可用度达到98%，实现训练+推理场景下的秒级快速恢复 [1] 超节点高可用技术 - 采用系统层/业务层/运维层三级容错方案，将故障转为亚健康问题并通过运维手段消除 [5] - 系统层通过超时代答欺骗OS和网络路由切换防止超节点级故障 [5] - 业务层实现租户无感知的网络闪断重试，运维层通过主动感知技术削减亚健康事件影响 [6] 集群线性度优化 - 华为提出TACO、NSF、NB、AICT四项关键技术，实现算力规模与性能的近似线性增长 [8] - 实测Pangu Ultra 135B模型在4K卡集群线性度达96%，718B MoE模型在8K卡集群线性度95.05% [8] 万卡训练恢复技术 - 采用进程级重调度恢复技术将训练中断恢复时间缩短至3分钟内 [12] - 进程级在线恢复技术针对硬件UCE故障实现30秒内恢复，算子级在线恢复实现通信算子秒级重执行 [12] MoE模型推理容错 - 大EP组网架构下提出三级容错方案，实例恢复时间从20分钟降至5分钟 [14][15] - TOKEN级重试技术实现30-60秒实例恢复，减卡弹性恢复技术实现用户无感知的秒级恢复 [15] 故障诊断体系 - 构建全栈可观测能力，包含集群运行视图、网络链路监控等模块 [17] - 故障诊断覆盖全栈故障模式库、跨域诊断、计算节点诊断等维度 [17] 建模仿真平台 - 马尔科夫建模仿真平台实现训练吞吐提升4.5%-8.24%，通信暴露时间降低89.84% [20] - 推理建模仿真平均误差低至6.6%，高可用建模实现全周期故障场景仿真 [21] 框架迁移方案 - MindSpore通过MSAdapter工具覆盖90%以上PyTorch接口，实现第三方框架无缝迁移 [23] - 推理阶段支持HuggingFace权重一键部署，盘古72B模型实现推理性能提升 [23] 行业发展趋势 - 算力基础设施将形成"应用需求→硬件创新→工程反哺"的闭环演进路径 [25] - 未来方向包括算法驱动算力专用化、光电混合架构革新、AI智能化运维等 [25]

通用人工智能（AGI）与系统工程创新 - 单点技术演进边际效应递减，系统性能天花板转向系统工程上限，需通过系统工程创新实现效能最优[1] - 华为推出《华为技术披露集》系列，首次全面详述技术细节，助力昇腾生态在中国发展[1][2] 万卡集群技术 - AI算力集群将上万台计算机整合为"算力航空母舰"，解决协同工作、高效运行和快速修复等世界级难题[3] - 华为团队提出拓扑感知协同编排技术TACO等四项关键技术，训练Pangu Ultra 135B稠密模型时4K卡集群线性度达96%[8] 超节点高可用 - 算力集群采用"系统层容错"、"业务层容错"和"运维层容错"方案，将故障转为亚健康问题，确保24小时不间断运行[5][6] - CloudMatrix 384超节点通过超时代答欺骗OS和网络路由切换，避免系统级故障[6] 集群线性度 - 华为技术实现盘古模型训练线性度提升，8K卡A2集群训练Pangu Ultra MoE 718B稀疏模型时线性度达95.05%[8] 万卡集群训练快速恢复 - 进程级重调度恢复技术将训练恢复时间缩短至3分钟以内，进程级在线恢复技术进一步缩短至30秒以内[10][11] - 算子级在线恢复技术实现网络故障影响的通信算子秒级重执行，训练任务不中断[11] 超大规模MoE模型推理恢复 - 三级容错方案实现实例间切换、实例内重启恢复和实例内无损恢复，实例恢复时间从20分钟降至5分钟[13] - TOKEN级重试技术在CloudMatrix 384超节点场景下实现30~60秒实例恢复[13] 故障管理与感知诊断 - 华为提供昇腾AI硬件灾备高可靠架构设计，涵盖故障隔离、容错能力和故障预测等[15] - 全栈可观测能力和故障诊断技术实现大规模集群在线故障感知和诊断[16] 建模仿真 - 马尔科夫建模仿真平台实现训练、推理和高可用领域的多维度建模分析，训练吞吐提升4.5%-8.24%[18][19] - 推理建模仿真平台平均误差低至6.6%，高可用建模仿真框架实现全周期监控仿真[19] 框架迁移 - 昇思MindSpore构建MSAdapter生态适配工具，覆盖90%以上PyTorch接口，实现第三方框架无缝迁移[21] - 推理阶段支持HuggingFace权重配置一键部署，实现盘古72B模型推理性能提升[21] 未来展望 - 算力基础设施将形成"应用需求→硬件创新→工程反哺"闭环，实现高效、弹性、自愈的下一代系统[23]

AI算力集群的关键特性 - AI算力集群通过连接上万台甚至几十万台计算机形成"算力航空母舰"，以应对万亿参数大模型的计算需求[1] - 需要解决协同工作、高效运行和快速修复等世界级难题[1] 超节点高可用 - 算力集群采用"备用替身"机制，确保单台机器故障时任务无缝接管，避免全盘停止[3] - 华为提出系统层、业务层和运维层三级容错方案，将故障转为亚健康问题并优雅消除[3][4] 集群线性度 - 理想情况下算力应随计算机数量线性增长，华为通过精密任务分配算法实现接近完美的线性度[6] - 实验显示训练Pangu Ultra 135B模型时4K卡集群线性度达96%，Pangu Ultra MoE 718B模型8K卡集群线性度达95.05%[8] 万卡集群训练快速恢复 - 系统具备"存档功能"，可在设备故障时从最新进度恢复，避免从头训练[10] - 华为创新技术将训练恢复时间缩短至3分钟内，部分场景可达30秒内[11] 超大规模MoE模型推理恢复 - 大EP组网架构下硬件故障可能导致整个推理实例不可用[13] - 华为三级容错方案将实例恢复时间从20分钟降至5分钟，TOKEN级重试实现30~60秒恢复[15] 故障管理与感知诊断 - 实时监控系统持续监测设备健康状态，快速定位并修复故障[17] - 华为提供完整的硬件灾备高可靠架构设计和RAS统一故障管理框架[17] 建模仿真 - 虚拟环境"数字化风洞"可预测模型真实表现，提前发现系统瓶颈[19] - 华为马尔科夫建模仿真平台在训练、推理和高可用领域实现系统性建模分析[19][20] 框架迁移 - 昇思MindSpore框架覆盖90%以上PyTorch接口，实现第三方框架无缝迁移[22] - 推理阶段支持HuggingFace权重一键部署，实现盘古72B模型推理性能提升[22] 总结与展望 - 华为在算力集群多个维度提出创新方案，形成完整技术体系[24] - 未来算力基础设施将走向算法-算力-工程协同进化，形成需求-创新-反哺闭环[24]

AI算力集群的核心作用 - AI算力集群通过连接上万台甚至几十万台计算机形成"算力航空母舰"，支撑大模型训练和复杂AI任务处理[3] - 单台计算机算力无法满足万亿参数大模型需求，集群化方案解决算力瓶颈问题[3] - 集群需要解决设备协同工作、故障容错、训练中断恢复等世界级工程难题[4] 超节点高可用技术 - 采用系统层/业务层/运维层三级容错方案，将故障转为亚健康状态并通过运维手段消除[7][8] - 系统层通过超时代答欺骗OS和网络路由切换防止系统级故障[7] - 业务层实现租户无感知的网络闪断重试，运维层构筑亚健康感知和优雅恢复技术[8] 集群线性度优化 - 通过拓扑感知协同编排(TACO)、网存算融合(NSF)等四项关键技术实现算力线性扩展[11] - 训练Pangu Ultra 135B模型时4K卡集群线性度达96%，718B稀疏模型8K卡集群线性度95.05%[13] - 理想状态下集群应实现算力与设备数量的线性增长，避免资源内耗[10] 万卡集群快速恢复 - 采用进程级重调度恢复技术将训练恢复时间缩短至3分钟内[15] - 进程级在线恢复技术针对硬件UCE故障实现30秒内恢复[15] - 算子级在线恢复技术实现网络故障下的秒级重执行，保持训练连续性[15] MoE模型推理容错 - 大EP组网架构下提出实例间切换/实例内重启/实例内无损三级容错方案[19] - 实例内快速重启技术将恢复时间从20分钟降至5分钟[20] - TOKEN级重试技术在CloudMatrix 384场景实现30-60秒实例恢复[21] 故障感知与诊断 - 构建全栈可观测能力，包括集群运行视图、网络链路监控等模块[26] - 建立全栈故障模式库，涵盖跨域诊断、计算节点诊断等能力[26] - 实时监控系统持续跟踪设备温度、算力利用率等健康指标[24] 建模仿真技术 - Sim2Train平台通过AdaptPack编排优化使训练吞吐提升4.5%-8.24%[31] - Sim2Infer推理仿真平台实现硬件指令自动化映射，平均误差6.6%[33] - 高可用仿真框架建模单步时长内的故障影响与恢复耗时[35] 框架迁移方案 - MindSpore通过MSAdapter工具覆盖90%以上PyTorch接口实现生态兼容[38] - 推理阶段支持HuggingFace权重一键部署，vLLM插件提升大模型服务能力[38] - 动态图执行通过多级流水线与JIT编译优化显著提升效率[38] 未来发展趋势 - 算法-算力-工程协同进化将形成"应用需求→硬件创新→工程反哺"闭环[39] - 算力专用化趋势下需异构加速，架构革新如光电混合将释放性能潜力[39] - AI运维等智能化手段将成为弥合系统复杂度鸿沟的关键[39]