Workflow
Clos non-blocking fat tree network
icon
搜索文档
英伟达的光学 “幽灵”——NVL72、InfiniBand 横向扩展与 800G 及 1.6T 的崛起Nvidia’s Optical Boogeyman – NVL72, Infiniband Scale Out, 800G & 1.6T Ramp
2025-08-05 16:18
行业与公司 - 行业:高性能计算(HPC)、人工智能(AI)基础设施、光通信 - 公司:Nvidia(英伟达)[1][3][9] 核心观点与论据 1 **Nvidia Blackwell架构与DGX GB200 NVL72系统** - Nvidia发布Blackwell架构的8+种SKU,重点展示垂直集成的DGX GB200 NVL72系统,包含72个GPU、36个CPU、18个NVSwitch、72个InfiniBand NIC(后端网络)和36个Bluefield 3以太网NIC(前端网络)[1][2][10] - 技术规格: - FP4 AI算力1,440 PFLOPS,FP8 725 PFLOPS,FP16 362 PFLOPS - 72个Blackwell GPU,HBM3e内存总量13.3TB,总快速内存30.2TB - 互联:72个400Gb/s InfiniBand ConnectX-7 NIC + 36个200Gb/s InfiniBand/Ethernet BlueField-3 NIC[11] 2 **NVLink与光模块的争议** - NVL72通过5,184条铜缆(总长2英里)实现72个GPU互联,节省20千瓦功耗(若使用光模块需额外20千瓦)[5][6] - 市场误认为NVLink会减少光模块需求,但实际后端网络仍需72个400G/800G OSFP端口(每GPU一个),光模块与GPU比例不变[7][8][12] - 光模块需求仅在实际部署单机架时可能减少,但客户通常采购多机架[13] 3 **Clos非阻塞胖树网络架构** - H100采用Clos网络设计,支持400G全带宽互联,可扩展至2048个GPU(2层网络),更大规模需3层核心交换机[15][17][29] - 示例:512 GPU集群需16个叶子交换机(32端口800G)、8个主干交换机,总计1,280个光模块(2.5个/GPU)[18][20][30] - 2048 GPU集群需64个叶子交换机、32个主干交换机,光模块总数5,120(2.5个/GPU)[29][30] 4 **真正的光模块威胁:144端口Quantum-X800交换机** - Nvidia新推出的144端口1.6T交换机(Quantum-X800 Q3400-RA)使用72个OSFP端口(1.6T双端口光模块),总带宽115.2T(4倍于前代)[32][34] - 优势: - 9,216 GPU集群可保持2层网络(原需3层),减少70%交换机和27%光模块[36][37] - 光模块/GPU比例从3.5降至2.56[35][37] - 采用ConnectX-8(800G)和Quantum-X800的客户将降低光模块总量,但ASP可能提升[40] 其他重要内容 - **光模块市场影响**:1.6T光模块将逐步替代400G/800G,Nvidia的光网络架构变化可能重塑供应链需求[32][40] - **技术细节**: - 铜缆NVLink的功耗优势(20千瓦节省)[5] - 交换机层级对光模块数量的非线性影响(如4096 GPU集群需14,336个光模块)[30] - **行业误判**:市场最初高估NVLink对光模块的替代,实际需求取决于网络规模与交换机选择[7][8][36]