半导体行业研究 核心观点 - 文章基于华为Cloud Matrix 384论文和申万宏源分析内容，重点探讨了半导体行业中光模块与NPU的用量比例关系 [3][5] Cloud Matrix 384架构 - **UB平面**：作为超节点内部核心扩展网络，采用非阻塞全对全拓扑连接NPU和CPU，每个昇腾910C提供392GB/s单向带宽，用于TP/EP和大规模分布式内存池访问 [7] - **RDMA平面**：用于超节点间横向扩展通信，采用RoCE协议连接NPU，支持KV Cache传输和分布式训练 [7] - **VPC平面**：通过华为擎天DPU接入数据中心网络，处理管理、存储和外部服务通信 [7] 光互联与电互联 - CM384的Level 1和Level 2 UB Switch之间采用光互联，但节点内部仍使用电互联，因短距离光互联成本及功耗过高 [9] 光模块用量计算 - **Scale Up场景**： - 每台服务器中每个UB Switch芯片对应8个400G光模块，整台服务器需56个400G或28个800G双通道光模块 [12] - 两层UB Switch系统下，每台服务器8个NPU对应112个400G或56个800G光模块，NPU与400G/800G光模块比例分别为1:14和1:7 [12] - **Scale Out场景**： - 采用胖树架构扩容时，光模块需求比例约为1:4（NPU与400G光模块） [13][14] 其他信息 - 英伟达B200/B300系列已成为主力产品 [15] - 知识星球提供行业信息、外资投行数据及分析报告更新 [17]

核心观点 - AI网络技术路线中以太网与InfiniBand的竞争格局已基本明确 以太网将在AI训练和推理场景中胜出 主要基于成本优势、生态兼容性和规模化部署能力[6][8][22][23] - 当前AI网络市场仍由InfiniBand主导 主要受英伟达服务器市占率超过70%的影响 但存在设备成本高和供应链依赖问题[8][14] - 超以太网联盟(UEC)已成立 目标是通过优化传统以太网性能 在AI领域与InfiniBand直接竞争 创始成员包括英特尔、AMD、博通、思科、微软、Meta等头部厂商[8] AI网络技术选型关键问题 - 部署选择：需考虑是否在现有TCP/IP网络上搭建 或建设专用高性能网络[9] - 技术路线：InfiniBand与RoCE v2的取舍 涉及带宽、时延、成本等多维度比较[9][12] - 运维管理：网络故障诊断与恢复机制[9] - 多租户能力：需同时满足内部研发和对外算力服务需求[9] 网络性能需求背景 - 大模型参数量已达百亿至千亿级 自动驾驶单次训练数据规模常达PB级[10] - GPT-3量级模型需要约2TB GPU显存 必须采用分布式训练将训练时间从三十年压缩至数周[10] - 分布式系统效率瓶颈在于通信时延 单步训练时延=GPU计算时间+通信时间[10] RDMA技术对比 - 主流技术路线收敛至InfiniBand和RoCE v2 RoCEv1和iWARP已基本退出市场[12] - RoCEv2通过UDP/IP封装实现三层可达 支持ECMP负载均衡 更适合复杂拓扑[12] - 延迟表现：实验室环境下 RoCE约5µs InfiniBand约2µs 显著优于传统TCP/IP的50µs[12] InfiniBand技术特征 - 典型组网：子网管理器(SM)+IB网卡+交换机+专用线缆/光模块[13] - 端口速率：HDR 200Gbps已商用 NDR 400Gbps正在落地 Quantum-2交换机支持64×400G连接[13] - 核心优势：原生无损传输(基于credit流控)和自适应路由能力[14][15] - 市场格局：英伟达市占率超70% 但Intel、Cisco、HPE等也有相关产品[14] RoCE v2技术特征 - 组网架构：标准以太网数据中心网络+支持RoCE的NIC和交换机[15] - 端口速率：50Gbps起步 商用产品已支持400Gbps[15] - 生态优势：沿用现有以太网布线标准 光模块体系兼容性强[15] - 工程挑战：需精细调优PFC、ECN等参数才能实现大规模无损传输[15] 直接性能对比 InfiniBand优势 - 带宽/速率高：专注端口速率快速提升[20] - 传输时延低：单跳转发时延<100ns[20] - 在网计算能力：交换机可理解业务报文[20] - 无损传输：基于credit的链路级流控[20] 以太网优势 - 线缆带宽和端口速度优于InfiniBand[21] - 大集群组网仅需两层结构 规模可达InfiniBand的4倍[21] - 动态负载平衡、端到端拥塞管理等特性更完善[21] - 整体功耗更低 交换机数量少3倍[21] 应用场景趋势 - 推理场景：以太网更适配 因其与前端网络兼容性好 且支持多租户[22][23] - 训练场景：InfiniBand当前占优 但以太网通过RoCE v2正在追赶[8][15] - 成本因素：以太网部署成本显著低于InfiniBand[21][23]

人工智能超级计算机性能增长 - 自2010年以来用于训练著名AI模型的计算量每年增长4.1倍，实现聊天机器人、图像生成等突破 [1] - 领先AI超级计算机性能每9个月翻一番，年增长率达2.5倍，主要依赖芯片数量(年增1.6倍)和单芯片性能(年增1.6倍)提升 [2][23] - 2025年最大系统xAI Colossus性能达2019年领先系统Summit的50多倍，包含20万个AI芯片 [21][23] 资源需求趋势 - AI超级计算机硬件成本年增1.9倍，2025年最大系统成本达70亿美元 [3][50] - 电力需求年增2.0倍，2025年最大系统需300兆瓦(相当于25万户家庭用电量) [3][41] - 能源效率年提升1.34倍，主要来自芯片改进而非基础设施优化 [45][47] - 按当前趋势，2030年最大系统需200万芯片/2000亿美元成本/9GW电力(相当于9个核反应堆) [4][73] 行业格局变化 - 私营部门份额从2019年40%飙升至2025年80%，公共部门降至20%以下 [8][56] - 公司系统性能年增2.7倍，远超公共部门1.9倍增速 [29][32] - 美国占全球AI超算性能75%，中国以15%居第二，传统强国份额不足3% [10][63] - 美国主导源于云计算和AI开发领先地位，控制关键芯片供应链 [79][81] 技术发展驱动 - AI超级计算机增长与最大训练任务算力需求(年增4-5倍)保持一致 [33][34] - 投资激增形成良性循环：更好基础设施→更强AI系统→更多投资 [70] - 电力限制可能成为主要瓶颈，推动分布式训练发展 [77] - 学术研究受限，工业界系统透明度降低影响政策制定 [82][83] 数据集与方法 - 覆盖2019-2025年500+系统，估计占全球AI超算总性能10-20% [1][19] - 定义标准：含AI芯片且达领先系统1%性能 [18] - 数据来源包括公司公告、Top500条目和模型训练记录 [19]