Home Server Accelerators Google Ironwood TPU Swings for Reasoning Model Leadership at Hot Chips 2025 ⾸⻚ 服务器 加速器 ⾕歌 Ironwood TPU 在 Hot Chips 2025 上⼒ 争推理模型领导地位 Server 服务器 Accelerators 加速器 AI ⼈⼯智能 Google Ironwood TPU Swings for Reasoning Model Leadership at Hot Chips 2025 ⾕歌 Ironwood TPU 在 Hot Chips 2025 ⼤会上⼒争推理模 型领导地位 Google Ironwood TPU Rack ⾕歌 Ironwood TPU 机架 Closing out the machine learning sessions at Hot Chips 2025 is Google, who is at the show to talk about their latest tensor processing unit (TPU), cod ...

Ironwood: Delivering Best in Class perf, perf/TCO and perf/Watt for Reasoning Model Training and Serving 更多一手调研纪要和海外投行研报数据加V：shuimu2026 更多一手调研纪要和海外投行研报数据加V：shuimu2026 更多一手调研纪要和海外投行研报数据加V：shuimu2026 更多一手调研纪要和海外投行研报数据加V：shuimu2026 更多一手调研纪要和海外投行研报数据加V：shuimu2026 更多一手调研纪要和海外投行研报数据加V：shuimu2026 Norman P. Jouppi and Sridhar Lakshmanamurthy With contributions from many others Hot Chips August 26, 2025 1 更多资料加入知识星球：水木调研纪要 关注公众号：水木纪要 Breakthrough Innovations in Ironwood TPU Systems 更多一手调研纪要和海外投行研报数据加V：shuimu2026 更多一 ...

AI基础设施需求增长 - AI在消费端和企业端的爆炸式增长继续推动先进计算、内存和网络技术的多年强劲需求周期 [2] - 每个会议都强调AI是技术进步和产品需求的最重要驱动力 [2] - AI基础设施需求增长动能依然强劲 且正在从单纯的计算力竞争扩展到网络和光学技术的全面升级 [2] 谷歌TPU性能突破 - Ironwood TPU峰值FLOPS性能较TPU v5p提升约10倍 功效比提升5.6倍 [5] - 配备192GB HBM3E内存 带宽达7.3TB/s 相比TPU v5p的96GB HBM2和2.8TB/s带宽显著提升 [5] - 超级集群可扩展至9,216颗芯片 由144个机架组成 总计1.77PB直接可寻址HBM内存和42.5 exaflops FP8计算能力 [5] - 功效比达4.2 TFLOPS/瓦 略低于英伟达B200/300 GPU的4.5 TFLOPS/瓦 [5] - 采用3纳米工艺 预计2025年下半年量产 将为博通带来90亿美元收入 生命周期总收入超过150亿美元 [6] Meta定制化部署 - 定制NVL72系统Catalina分布在两个IT机架中 配备四个辅助冷却机架 [7] - 每个B200 GPU配对一个Grace CPU 使Grace CPU总数翻倍至72个 [7] - LPDDR内存从17.3TB增至34.6TB 缓存一致性内存总量从30TB增至48TB 增幅达60% [7] - 选择定制设计基于模型需求和物理基础设施考虑 [7] - 英伟达采用符合OCP标准的MGX模块化参考设计架构 支持客户个性化定制 [7] 网络技术发展 - 网络技术成为AI基础设施关键增长点 Scale Up和Scale Out领域都出现显著增长机会 [8][9] - 博通推出51.2TB/s Tomahawk Ultra交换机 专为HPC和AI应用构建的低延迟Scale Up交换机 [9] - Scale Up代表博通TAM扩展的重要机会 超大规模云服务商部署越来越大的XPU集群 [10] - 英伟达推出"Spectrum-XGS"以太网技术 解决跨多个数据中心的分布式集群需求 [11] - Spectrum-XGS具有无限制扩展和自动调整负载均衡优势 CoreWeave成为首个部署客户 [12] 光学技术集成 - 多个演讲者强调推动光学技术深度集成到AI基础设施的关键动力 [14] - 动力包括铜互连限制 快速增长的机架功率密度 以及光学收发器较高成本和功耗 [14] - Lightmatter展示Passage M1000"AI 3D光子互连器" 解决I/O连接扩展挑战 [14] - Ayar Labs推出TeraPHY光学I/O芯片 支持高达8.192TB/s双向带宽 [14] - 功耗效率比传统可插拔光学器件加电气SerDes高4-8倍 [14] - 数据中心功耗限制将成为2027-2028年广泛采用的关键驱动因素 [14] AMD产品进展 - MI355X运行TBP为1.4kW 时钟频率2.4GHz MI350X为1.0kW和2.2GHz [16] - MI355X主要部署在液冷数据中心 MI350X服务于传统风冷基础设施客户 [17] - MI355X计算性能较MI350X高出9% 但单芯片内存容量和带宽保持一致 [18] - MI355X可部署在最多128个GPU的机架系统 MI350X机架最多支持64个GPU [18] - MI400系列及"Helios"机架解决方案按计划于2026年推出 MI500系列计划于2027年发布 [18] - AMD在推理计算市场具备良好定位 需求增长超过训练市场 [18]

AI基础设施需求增长 - AI在消费端和企业端的爆炸式增长将继续推动先进计算、内存和网络技术的多年强劲需求周期[3] - AI基础设施需求的增长动能依然强劲 且正在从单纯的计算力竞争扩展到网络和光学技术的全面升级[3] 谷歌TPU技术突破 - Ironwood TPU峰值FLOPS性能较TPU v5p提升约10倍 功效比提升5.6倍[4] - 配备192GB HBM3E内存 带宽达7.3TB/s 相比TPU v5p的96GB HBM2和2.8TB/s带宽有显著提升[4] - 超级集群可扩展至9,216颗芯片 由144个机架组成 总计1.77PB直接可寻址HBM内存和42.5 exaflops FP8计算能力[4] - 4.2 TFLOPS/瓦功效比仅略低于英伟达B200/300 GPU的4.5 TFLOPS/瓦[5] - 采用3纳米工艺 预计2025年下半年量产 将为博通带来90亿美元收入 生命周期总收入超过150亿美元[5] Meta定制化部署 - 定制NVL72系统Catalina分布在两个IT机架中 配备四个辅助冷却机架[6] - 每个B200 GPU配对一个Grace CPU 使Grace CPU总数翻倍至72个 LPDDR内存从17.3TB增至34.6TB 缓存一致性内存总量从30TB增至48TB增幅达60%[6] - 选择定制设计基于模型需求和物理基础设施考虑 包括大语言模型和排序推荐引擎[6] - 采用符合OCP标准的MGX模块化参考设计架构 支持个性化定制[7] 网络技术发展 - 网络技术成为AI基础设施关键增长点 Scale Up和Scale Out领域都出现显著增长机会[8][3] - 博通推出51.2TB/s Tomahawk Ultra交换机 专为HPC和AI应用构建的低延迟Scale Up交换机[9] - 支持102.4TB/s Tomahawk 6交换机的战略 推动以太网在Scale Up和Scale Out领域采用[10] - Scale Up代表博通TAM扩展的重要机会 超大规模云服务商部署越来越大的XPU集群[11] - 英伟达推出"Spectrum-XGS"以太网技术 解决跨多个数据中心的分布式集群需求 宣布CoreWeave成为首个部署客户[11] 光学技术集成 - 推动光学技术深度集成到AI基础设施 关键动力包括铜互连限制 快速增长机架功率密度 光学收发器较高成本和功耗[12] - Lightmatter展示Passage M1000"AI 3D光子互连器" 解决I/O连接扩展挑战[12] - Ayar Labs推出TeraPHY光学I/O芯片 支持高达8.192TB/s双向带宽 功耗效率比传统可插拔光学器件高4-8倍[13] - 数据中心功耗限制将成为2027-2028年广泛采用的关键驱动因素[13] AMD产品发展 - MI355X运行TBP为1.4kW 时钟频率2.4GHz 而MI350X为1.0kW和2.2GHz[14] - MI355X主要部署在液冷数据中心 MI350X服务于传统风冷基础设施客户[15] - MI355X计算性能较MI350X高出9% 但单芯片内存容量和带宽保持一致[16] - MI355X可部署最多128个GPU机架系统 MI350X机架最多支持64个GPU[16] - MI400系列及"Helios"机架解决方案按计划于2026年推出 MI500系列计划于2027年发布[16] - 在推理计算市场具备良好定位 需求增长超过训练市场 具有强劲性能和总体拥有成本优势[16] 行业整体趋势 - Meta扩展100k+ GPU集群规模 未来十年预计增长10倍[3] - 以太网向Scale-up领域扩张成为网络关键增长点[3] - 光学集成技术加速发展以应对功耗限制[3]