谷歌TPUv7 Ironwood性能与市场冲击 - 半导体研究机构SemiAnalysis发布首份TPUv7 Ironwood第三方推理测试结果，在同等条件下，Ironwood每美元性能指标最高领先英伟达B200和B300达50% [1] - 在每用户每秒100个token交互速度下，Ironwood每百万token推理成本约0.181美元，低于B200的0.222美元和B300的0.276美元，分别便宜约19%和34% [1] - 在更高并发场景下，采用谷歌内部TCO计算，Ironwood相对B200的每美元性能优势可扩大至76.7%，相对B300则达130.2% [1] - 在低并发、高交互性场景下，Ironwood每芯片总吞吐量达9,364 token/秒，高于B200的8,903和B300的8,925，吞吐量领先约5% [4] - 结合更低每小时芯片成本，Ironwood每美元可产出token数量比B200高出50.4%，比B300高出96.0% [4] - 在20秒中位响应时间下，Ironwood每百万token成本约0.098美元，低于B200的0.106美元和B300的0.132美元，分别便宜约8%和25% [4] - 测试并非全面领先，在约30秒中位响应时间附近局部区间，B200在每美元性能上仍可超越Ironwood [4] - 当英伟达GPU采用FP4精度时，Ironwood尚不支持原生FP4计算，英伟达在该精度下仍保持优势 [4] - 在非同等对比场景下，GB300 NVL72采用分离式服务、TPUv7仍使用聚合服务时，GB300在中等端到端延迟区间具备约30%的每美元性能优势 [5] - SemiAnalysis认为，一旦TPUv7的分离式服务优化完成，这一差距将消除 [5] - 随着分离式预填充/解码、投机解码等关键优化陆续落地，TPUv7竞争力将进一步提升，有望在全性能曲线上与英伟达GB200/GB300 NVL72形成正面竞争 [2] 谷歌TPU外部化与客户进展 - 谷歌自研芯片TPU正加速向外部客户开放 [1] - Anthropic已承诺采购逾百万颗TPU，成为谷歌TPU最大外部用户，预计到2029年其TPU使用量将超过DeepMind自身 [2] TorchTPU软件生态建设 - 谷歌正全力推进名为TorchTPU的新一代原生PyTorch后端，预计于10月开源，以取代此前存在诸多局限的TorchAX方案 [1] - 此前外部开发者需通过TorchAX将PyTorch模型转译为JAX执行，在低级优化、分页注意力机制及与vLLM工作模型适配上存在诸多问题 [6] - 新一代TorchTPU方案通过PyTorch的PrivateUse1后端扩展点，将TPU直接暴露为原生PyTorch设备，开发者可使用.to("tpu")调用，并保留熟悉的分布式接口 [7] - 编译路径上，TorchDynamo和AOTAutograd生成FX计算图，TorchTPU将其降低为StableHLO，再由XLA生成TPU可执行代码 [7] - vLLM和SGLang可以复用更多上游模型代码、调度器和API逻辑，无需跨越PyTorch到JAX的框架边界 [7] - Inferact、RadixArk和Red Hat均在与谷歌合作，推动TorchTPU成为vLLM和SGLang的一级支持后端 [7] - 谷歌计划在Qwen3.5 397B完成初步适配后，进一步支持Kimi K3、GLM5.3以及谷歌自有开源模型Gemma4 [8] - SemiAnalysis预计，一旦少数模型完成优化，新增模型支持的边际成本将大幅下降，TPU有望进入vLLM和SGLang的"Day 0"支持名单 [8] TPUv7 Ironwood硬件架构与成本优势 - 谷歌在推理成本上的优势根源在于芯片、互联网络与编译器的协同设计，而非单纯单芯片算力堆叠 [11] - TPUv7 Ironwood打破"MegaCore"设计惯例，改为单颗芯片上集成两个独立计算裸片，通过高带宽裸片间链路连接 [11] - 每颗芯片配备2个TensorCore和4个第三代SparseCore，HBM容量约为上一代Trillium的6倍，并首次引入原生FP8硬件支持 [11] - 矩阵乘法单元采用256×256脉动阵列，每周期可执行65,536次乘加运算，是此前128×128设计的4倍 [11] - 矩阵维度需填充至256的倍数，否则将造成MXU利用率损失，以Llama 3 8B为例，其注意力头维度为128，两个注意力矩阵乘法的MXU利用率上限仅为50% [11] - 芯片互联延续3D环形拓扑，基本构建单元为64颗芯片组成的4×4×4立方体，通过光学电路交换机可扩展至9,216颗芯片的超级Pod，总算力达42.5 FP8 exaflops [12] - ICI网络绕过主机CPU，支持芯片间直接交换激活值和梯度，在整个Pod范围内提供接近NVLink级别的带宽 [12] TPUv8i前瞻与软件路线图 - 谷歌新发布的第八代TPU首次将训练与推理拆分为两款独立芯片：TPU 8t面向训练，TPU 8i面向推理 [13] - TPUv8i以高基数交换机构成的扁平化层次网络取代3D环形拓扑，在1,024至1,152颗芯片规模下，网络直径从约16跳降至约7跳，降幅超过50% [13] - TPUv8i配备19.2 Tb/s的ICI带宽（较上一代翻倍）和384 MB片上SRAM（较上一代增加3倍），专为在片上缓存推理和智能体模型的KV缓存而设计 [13] - TPUv8i将支持原生FP4计算，SemiAnalysis认为其有望与英伟达Rubin NVL72形成正面竞争 [13] - 谷歌当前优先推进的外部化工作包括：投机解码优化、预填充-解码分离式服务、KV缓存DRAM卸载，以及对多轮智能体工作负载的支持 [14] - 谷歌已开源TPU-Sync KV缓存传输库，并计划支持业界标准的Mooncake Store卸载方案 [14] 内核优化与性能提升 - 谷歌工程团队对TPU推理内核进行大量针对性优化，涵盖注意力机制、MoE路由、混合模型状态管理等多个层面 [9] - 针对Qwen3.5的GQA层不均匀分布问题，TPU后端新增8路注意力数据并行与8路专家并行的组合支持，避免了不必要的All-to-All通信开销 [9] - 谷歌将专家ID和路由权重合并为单次All-Gather操作，在DeepSeek-V3测试中每层节省约80微秒，跨58层累计可节省约4.64毫秒每次前向传播 [9] - ReduceScatter集合操作被迁移至SparseCore执行，结合双缓冲技术实现计算与通信流水线重叠，在8k1k工作负载下，并发64至512的吞吐量提升幅度为4.1%至14.2% [9] - 通过将token不规则重排移至SparseCore处理、对专家权重实施三重缓冲、以及针对小批量场景引入独立排列路径，8k1k服务吞吐量在并发64时提升7.3%，在并发128时提升5.1% [9] - 将循环状态存储精度从FP32降至BF16，在保持VMEM内FP32算术精度的同时，将HBM占用减半，1k8k吞吐量在并发512时提升15% [10] - 通过优化KV缓存页面布局，可用KV页面数量从5,141增至10,283，在并发128的8k1k测试中吞吐量提升16.5%，中位TTFT下降95% [10]