Workflow
Google's Latest AI Chip Puts the Focus on Inference

第七代TPU Ironwood发布 - 谷歌宣布第七代TPU Ironwood将在未来几周内向云客户提供 同时披露基于Arm的Axion虚拟机实例已进入预览阶段 [2] - Ironwood TPU相比前代TPU v5p峰值性能提升10倍 相比TPU v6e (Trillium)每个芯片在训练和推理工作负载上的性能提升超过4倍 成为公司迄今最强大且能效最高的定制芯片 [3] - 与英伟达的通用GPU不同 谷歌的TPU是专为人工智能工作负载设计的专用集成电路 [1] AI行业进入“推理时代” - 公司认为AI行业正进入“推理时代” 各组织将重点从训练AI模型转向使用模型执行有用任务 [5] - AI推理是指使用训练好的AI模型生成响应的行为 其计算密集度低于AI训练 但需要快速响应时间和处理高并发请求的能力 [4] - 随着AI日益投入使用 预计对计算能力的需求将呈现近乎指数级增长 [5] 客户案例与市场影响 - AI公司Anthropic近期签署协议扩大使用谷歌TPU进行训练和推理 在新协议下将获得100万个TPU的访问权限 以助其实现2028年收入增至700亿美元并实现正向现金流的目标 [6] - 谷歌云业务第三季度收入为152亿美元 同比增长34% 运营利润为36亿美元 运营利润率约为24% [8] - 尽管谷歌云规模小于微软Azure和亚马逊AWS 但其增长迅速 正在缩小与AWS的差距 而AI计算能力可能帮助公司追赶竞争对手 [7][9]