文章核心观点 - 谷歌为第八代TPU产品组合新增TPU 8tx和TPU 8i Max两款系统，首次在一年内推出四款TPU系统，围绕智能体生命周期每个阶段提供专用加速器 [4][5][6] - 谷歌将其定位为“TPU系统”而非芯片，强调通过系统级协同设计（计算、网络、存储、封装）快速响应客户需求，数月而非数年交付专用超级计算机 [2][9] - 新增产品针对两大紧迫挑战：硬件级数据安全和百万级令牌上下文规模 [2][10] TPU 8tx：安全保密推理 - 采用与TPU 8t相同的硅芯片，搭配定制第五代AMD EPYC CPU主机，针对“安全和保密推理”优化，同时支持小规模训练工作负载 [4][11] - 目标客户为受监管的企业和政府，用于运行前沿或专有模型及自主代理并处理敏感数据 [4][11] - 将安全性直接构建到硬件层，即使在积极使用过程中也能保护和隔离敏感数据与模型权重，解决传统加密数据须在内存中解锁才能处理的问题 [4][11] - 利用Boardfly网络实现实时推理，保持多步骤代理运行，与TPU 8t相比延迟降低2倍而性能损失几乎为零 [4][11] - 允许组织在单个系统上同时运行和定制模型，支持私有数据微调、大模型精简为小模型、强化学习训练代理，无需在不同集群间迁移敏感数据 [4][11] TPU 8i Max：突破内存墙 - 设计目标是解决“内存墙”问题，即处理器速度与内存带宽之间的差距 [4][12] - 将两颗低延迟TPU 8i芯片集成到单个封装中，同步扩展计算和内存，计算能力、SRAM容量和HBM带宽均为TPU 8i的两倍 [5][12] - 确保处理器保持必要数据容量，避免大型工作负载停滞卡顿 [5][12] - 在现有机架空间内可容纳两倍硅片，数据中心每平方英尺和每瓦特可部署更多计算能力 [5][12] - 针对数十个AI代理协同处理整个软件代码库或数小时视频时内存带宽成为瓶颈的场景 [12] 第八代TPU产品组合整体布局 - 四款产品共同为客户提供针对智能体生命周期每个阶段的专用加速器：TPU 8t用于扩展训练、TPU 8i用于低延迟推理、TPU 8tx用于机密计算、TPU 8i Max用于大规模上下文窗口和每机架最高计算密度 [5][12] - TPU 8t和8i于2026年4月首次发布，与上一代TPU相比训练性能分别提升2.7倍，推理性价比提升80% [2][6] - TPU 8i旨在突破内存瓶颈，将芯片间通信延迟减少一半 [10] - TPU 8t被设计为强大训练平台，用于构建庞大基础模型并实现最大“有效输出”（每瓦能量产生的有用智能） [10] TPU业务与生态发展 - TPU业务迅速发展，拥有近百家客户，包括前沿实验室、交易公司、零售商、大学等 [6] - 应用场景从最初语音识别和语言翻译扩展至：训练和运行Gemini模型、代理工作负载、为Google Cloud客户提供服务、允许客户将TPU直接部署到自有数据中心 [6] - 公司越来越多收到外部机构反馈以了解具体需求，并首次在一年内推出四款TPU系统 [8] 软件栈与开发者生态 - 开源TorchTPU，使PyTorch代码和Hugging Face模型可在TPU上原生运行，并支持vLLM和SGLang等主流开源推理引擎的开箱即用型TPU后端 [13] - 全新开源TPU代理套件（预览阶段）可集成到Claude Code、Cursor和Google Antigravity等编码工具中，几分钟内自动完成TPU部署、诊断瓶颈并用纯文本语言自动调优自定义内核 [13] - 全新开源XLA Serving Engine允许使用Python训练模型并直接部署到TPU、GPU和CPU上的低延迟C++运行时环境 [13] - 在InferenceX和AgentX基准测试中，基于TPU的原生vLLM-TorchTPU软件栈实现业界领先的性价比，优势适用于各种前沿开放模型和开源服务栈并保持较高模型精度 [14] - 全新代理计算引擎软件可在几毫秒内自动暂停空闲代理会话并将工作内存转移到芯片之外，降低运维基础设施成本 [14] 内存与集群管理技术 - 开源TPU Sync模型状态层，将芯片HBM、主机DRAM、共享存储和数据中心网络整合为单一协同设计的内存层次结构，毫秒级自动将海量键值缓存分层部署到芯片外，在分散的预填充和解码节点之间传输上下文并同步强化学习权重，将键值传输延迟和首令牌时间（TTFT）降低90%以上 [15] - Cloud Pathways现已在Google Kubernetes Engine（GKE）上正式发布，借助单控制器架构和pathwaysutils可在多个TPU切片上编排大规模TPU系统用于预训练、强化学习和多主机推理，通过托管Python sidecar、亚分钟级切片热插拔和弹性分片确保长时间运行作业在硬件中断期间持续运行 [16] - GKE动态切片正式发布，采用光路交换（OCS）技术将物理硬件配置与逻辑切片解耦，动态将TPU立方体组装成更大拓扑（超级切片）或划分成更小独立工作负载（子切片），消除僵化的手动节点池重建周期，作业启动时间缩短至多5倍，故障恢复速度提高至多4.5倍 [17] 协同设计与AI辅助芯片开发 - 一年内交付四个TPU系统和一个统一开放软件栈依赖于硅架构师、网络工程师、编译器团队和谷歌DeepMind研究人员并肩工作 [18] - 公司越来越多利用人工智能构思和构建下一代AI基础设施，从使用谷歌DeepMind的AlphaChip强化学习系统到使用Gemini在数小时而非数周内完成芯片布局，利用TPU驱动的AI服务加速下一代TPU硬件开发 [18] - 十多年前构建第一台TPU时即意识到AI软件发展速度将远超硅芯片制造速度，因此从根本上着眼于系统平衡和模块化，将TPU设计为AI超级计算机的构建模块 [9]