Workflow
芯片间互连(ICI)
icon
搜索文档
Google集群拆解
华泰证券· 2025-11-27 16:52
报告行业投资评级 未提及 报告的核心观点 报告围绕Google集群展开研究,深入剖析其Scale up和Scale out架构,涵盖3D结构、光互联等方面,对比不同GPU的技术参数,并分析TPU集群内互联组件占比及十万卡集群不同互联方案[4][117]。 根据相关目录分别进行总结 Google集群的Scale up: 3D结构 - Google集群柜内Scale up采用3D结构,从TPU到TPU Tray再到TPU Rack,一个机架有16个TPU Tray、64个TPU芯片[9][28] - 对比不同GPU,如Nvidia从Hopper到Blackwell,NVLink带宽不断提升,Blackwell NVLink 5达1.8TB/s;AMD从MI350到MI400,MI400单卡有72条200Gb UALink Lane,对应1.8TB/s的Scale up网络[20][25][27] Google集群的Scale up光互联:光路交换机 - 光路交换机的光信号输入输出涉及相机模块、二色分光元件等,通过二维MEMS微镜阵列控制光束反射到目标输出端口,并实现光路监控和对准[46][47] - TPU V4和V7 Superpod由光路交换机连接实现TPU全连接,V4 Superpod为8*8,V7为16*9;每套系统含64个机架,分8组,共4096芯片,共享256TiB HBM内存,总计算超1 ExaFLOP[48][52][60] TPU集群内,光路交换机和光模块占比 - TPU V4光路交换机占比1.1%,光模块数量6144,比例1.5;TPU V7光路交换机占比0.52%,光模块数量13824,比例1.5[70][75][84] - 单个Rack向外光模块6*16,PCB Traces 4*16,Copper cables 80,ICI连接含96光纤、80铜缆和64 pcb traces[94][95] Google集群的Scale out - Scale out采用Tomahawk 5交换机,有128个400G端口,TPU SuperPod外通过数据中心网络通信[103][106] - NV Scale out中的OCS在通用三层FT拓扑中有主要集成点,可增强硬件和软件故障弹性[116] - 十万卡集群不同互联方案对比,InfiniBand、NVIDIA Spectrum - X、Broadcom Tomahawk5的交换机和光模块数量、占比及成本各有不同[125]