行业与公司 * 行业聚焦于AI算力网络互连板块 特别是Scale Up网络技术及其带来的产业链机会[1] * 核心讨论围绕英伟达及其产品策略展开 同时涉及亚马逊、谷歌、Meta等公司的ASIC方案[5] * 产业链受益环节包括光纤、AEC（有源铜缆）、光模块（1.6T）、MPO、FU以及交换机厂商（如锐捷网络、博通、天弘、Arista等）[28][30] 核心观点与论据 * **Scale Up网络的定义与必要性**：Scale Up网络旨在实现跨机柜的大规模连接 将机柜当作积木连接 其核心驱动力是解决硬件内存墙问题并满足AI并行计算（尤其是专家并行和张量并行）的高通信需求[1][5][7][10] * **英伟达的推广策略**：通过两条路径推广 一是不断提高Nvlink带宽（每代产品单卡带宽基本翻倍） 二是扩大Up规模（如从H100升级到GH200时将MV8提升到MV256） 后因成本高和推理需求不足而推出更具性价比的NVO32方案[6] * **Scale Up相比Out网络的优势**：在超节点内能提供更高带宽 在英伟达系统中Up带宽是Out的九倍 未来随着规模扩大可能取代Out 实现AI网络统一连接[7][8] * **性能优势验证**：GB200使用FP4精度 在TPS（Token Per Second）为10时 其单卡性能比B200差三倍（两倍来自FP4 0.5倍来自Scale Up和Grace CPU）；当TPS为20时 差距变为七倍（3.5倍来自Scale Up和Grace CPU） 表明网络通信压力增大时Scale Up优势更明显[4][14][15] * **更大规模网络的需求**：为满足单用户TPS增长和模型能力拓展（如多模态模型） 需要组建更大规模的Scale Up网络（如NVL576） 其规模扩大速度需快于性能指标增长速度[21][22] * **组网方式与技术选择**：更大规模网络需进行机柜间第二层连接 建议采用光纤和AEC（有源铜缆）而非PCB（柜内）和DAC（有效距离仅1米）[23][24] * **带来的增量需求**：在第二层网络中 一个GPU需要9个等效1.6T连接（传统IB架构仅需2-3个） 且每4个GPU需额外增加一台Nvlink交换机（传统IB架构每30-48颗GPU才需一台） 导致端口和交换机需求显著增长[4][25][26] 其他重要内容 * **内存墙概念**：分为模型内存墙和算力内存墙 指模型参数量和算力增速快于配套内存（如HBM）增速 需通过高速通信实现显存池化[1][10] * **并行计算范式**：包括数据并行、流水线并行、专家并行和张量并行 后两者对通信频率和数据大小要求更高[2][11][12][13] * **总拥有成本（TCO）分析**：GB200 NVL72方案的总硬件成本约为6.1万美金 比NVL576方案节省2万美金[18][19] * **技术路径排除**：CPO和OCS技术因故障率瓶颈和镇静频率问题 目前尚未能应用于Scale Up场景[27] * **市场认知差异**：市场普遍认为Scale Up仅限于柜内 但实际需要跨机柜连接以提升单卡性能有效利用率[29][30]