核心观点 - 谷歌TPUv7 Ironwood在推理性价比上最高可比英伟达B200/B300提升50%，但外部化软件栈仍在完善中 [4][8][9] TPUv7 Ironwood性能对比 - 在聚合服务FP8单token预测条件下，TPU每美元性能比B200和B300高出50% [8] - Ironwood每百万token成本约0.181美元，B200为0.222美元，B300为0.276美元，成本低19%至34% [9] - 在每用户每秒20个token交互速率下，Ironwood原始吞吐量达每芯片每秒9,364个token，B200为8,903个，B300为8,925个，高出约5% [13] - Ironwood每美元可获token比B200多50.4%，比B300多96.0% [13] - 以每芯片小时1.03美元内部TCO计算，并发256时TPU每美元性能比B200高76.7%，比B300高130.2% [15] - 并发256时TPU平均TTFT为5.41秒，B200为3.75秒，B300为2.40秒 [15] - 20秒中位响应时间下TPU每百万token成本0.098美元，B200为0.106美元，B300为0.132美元 [17] - TPUv7不支持FP4计算，NVIDIA GPU在FP4方面保持领先 [8] - TPUv8i具有原生FP4支持，预计可与Rubin NVL72相媲美 [8] TPUv7与GB300 NVL72对比 - 在解耦对解耦对比中GB200/300 NVL72每美元性能更具竞争力，但差距预计数月内缩小 [21] - TPUv7 pod可通过低延迟ICI架构扩展到1000多个芯片，实现NVIDIA NVL72无法实现的大型模型优化 [21] - 在中端延迟方面GB300 NVL72解耦服务比TPUv7聚合服务性价比高约30% [23] - 一旦TPUv7分离式服务优化完成，预计在所有性能指标上与GB300 NVL72相媲美 [23] TorchTPU后端技术 - TorchTPU允许开发者将TPU用作原生PyTorch设备，StableHLO、XLA和Pallas内核在后台处理执行 [22][31] - vLLM TPU支持经历三个阶段：PyTorch/XLA原型、tpu-inference后端、第三代TorchTPU设计 [25] - TorchTPU使用PyTorch PrivateUse1后端扩展点，在device="tpu"上暴露普通torch.Tensor [31] - 编译路径中TorchDynamo和AOTAutograd生成FX图，TorchTPU降维为StableHLO，XLA生成TPU可执行文件 [31] - TorchTPU可调用Pallas和基于JAX的自定义内核 [32][33] - 支持DDP、FSDP2、DTensor、每个设备一个进程以及MPMD和SPMD执行 [33] - TorchTPU预计10月中旬PyTorch大会期间开源 [35] TPU推理优化措施 - 优化GQA注意力层键值头复制，避免不必要的全对全通信 [36] - 增加八路注意力数据并行与八路专家并行结合的DP注意力或DEP8 [37] - 合并专家ID和路由权重收集为一个all-gather操作，DeepSeek-V3测试每层节省约80微秒 [40] - 在SparseCore上实现ReduceScatter集体计算，释放TensorCore执行资源 [42] - 双缓冲允许内核在累积数据块同时传输另一块，重叠本地归约和芯片间传输 [42] - 并发64到512时吞吐量提高4.1%到14.2%，并发256时提高8.5% [45] - 第二版分组矩阵乘法算法移除冗余瓦片计算，使用三重缓冲专家权重 [46] - 专家输入不规则重组转移到SparseCore，8k1k服务吞吐量提高12% [46] - 小批量置换算法在并发64时吞吐量提高7.3%，并发128时提高5.1% [49] - 排序延迟从106.6微秒降至21.7微秒 [49] - 门控DeltaNet优化使MXU和VPU工作重叠，并发64时吞吐量提升2.79%，并发512时提升4.48% [53] - 异步状态传输利用双缓冲，并发512时8k1k吞吐量提升11.3% [54] - GDN v3融合Conv1D和GDN到一个内核，解码加速1.41倍，预填充1.60倍，混合批次2.14倍 [54] - 紧凑分配循环状态回收约76 GiB HBM，注意力块池扩大71% [56] - 循环状态存储在BF16使HBM占用减半，并发512时1k8k吞吐量提升15% [57] - 移除旧混合页面大小对齐约束，并发512时1k8k吞吐量提升约7% [57] - 请求元数据按活跃请求数分桶，GDN调度开销从283微秒降至97微秒 [60] - 低并发调优在并发4时1k1k综合性能提升22.9%，并发8时提升18.1% [62] - 支持DP的混合前缀缓存为GDN提供单独槽位读取检查点和写入实时状态 [64] - 序列通道布局使可用KV页面数量翻倍，并发128时吞吐量提高16.5%，中值TTFT降低95% [67] - RPA v3分离KV获取块和计算块大小，解码吞吐量从每秒64.9k token提高到96.3k token，提升49% [70] TPU系统架构 - Ironwood采用两个独立计算芯片，每个芯片运行独立逻辑设备，通过高带宽芯片间链路连接 [73] - 每个Ironwood芯片包含2个TensorCore和4个第三代SparseCore [73] - 每颗芯片HBM容量约192GB，是Trillium的6倍 [75] - Ironwood是首款原生支持FP8硬件的TPU产品 [75] - MXU从TPU v6e开始阵列尺寸翻倍至256x256，每个周期执行65,536次MAC运算 [78] - 矩阵维度需至少填充到MXU边长256，否则利用率下降 [78] - TPU通过ICI定制网络进行点对点连接，完全绕过主机CPU [83] - Ironwood保留三维环面结构，基本构建模块为4x4x4立方体包含64个芯片 [83] - 使用光路交换机将多个立方体拼接，扩展到9216芯片超级节点及42.5 FP8 exaflops聚合计算能力 [86] TPUv8i Boardfly网络 - TPU 8i用Boardfly新型拓扑结构取代环面架构 [89] - 网络直径减少50%以上，1024到1152芯片规模跳数从约16跳减少到约7跳 [90] - 提供19.2 Tb/s ICI带宽，是上一代两倍 [90] - 384 MB片上SRAM，是上一代三倍 [90] 未来工作路线图 - 优化推测性解码，利用空闲计算能力将权重读取分摊到多个token [94] - 预填充解码分离将预填充和解码操作分离到不同TPU池 [95] - TPU-Sync支持原生TPU KV缓存DRAM卸载 [99] - 支持Mooncake Store卸载库及DRAM P2P池化 [99] - 致力于在AgentX等代理工作负载上启用Kimi K3和GLM5.3以及Gemma4 [102] Anthropic与TPU - Anthropic是TPU最大用户，预计到2029年TPU使用量将超过DeepMind [4] - Anthropic承诺采购超过一百万个TPU，其中约40万个直接购买，60万个通过GCP租赁 [5]