核心观点 - AI芯片行业竞争焦点正从追求峰值算力转向追求推理成本效率 市场关注点从“谁算得更快”转向“谁算得更便宜、更可持续” [1][2] - Google/Broadcom的TPU在推理成本上实现显著跃升 TPU v7相比v6单位token推理成本下降约70% 使其在绝对成本层面与英伟达GB200 NVL72基本持平甚至略具优势 [1] - 英伟达仍保持产品迭代节奏和生态优势 但AI芯片的评价体系已发生根本性变化 成本曲线斜率成为决定产业格局的关键变量 [2][5][7] AI芯片竞争评价标准切换 - 行业从训练算力主导转向推理成本效率主导 随着大模型进入部署与商业化阶段 推理负载远超训练 成本问题被迅速放大 [3] - 芯片性价比由系统层面效率共同塑造 包括算力密度、互联效率、内存带宽及能源消耗等多重因素 [3] - 基于推理成本曲线 Google/Broadcom TPU在成本维度已可与英伟达正面竞争 而AMD和亚马逊Trainium的单位推理成本仍明显高于前两者 对主流市场冲击有限 [3] TPU成本跃迁的驱动因素 - TPU v7大幅降本源于系统级优化能力 而非单一技术突破 未来推理成本下降将越来越依赖“计算相邻技术”进步 [4] - 系统优化包括更高带宽更低延迟的网络互联、HBM和存储方案持续集成、先进封装技术以及机架级解决方案在密度与能效上的提升 [4] - TPU在谷歌内部使用比例持续上升 并获外部客户采纳 典型案例为Anthropic向Broadcom下达的约210亿美元订单 相关产品预计2026年中开始交付 [4] 主要厂商竞争态势与投资含义 - 英伟达掌握“上市时间”优势 在TPU v7追平GB200 NVL72时 已推进至GB300 NVL72 并计划在2026年下半年交付VR200 NVL144 [5] - 高盛维持对英伟达与Broadcom的买入评级 认为两者最直接绑定AI资本开支中可持续部分 并将长期受益于网络、封装和系统级技术升级 [7] - 高盛将Broadcom 2026财年每股收益预期上调至10.87美元 较市场一致预期高出约6% 认为市场低估其在AI网络与定制计算领域的长期盈利能力 [7] - AMD基于MI455X的Helios机架方案预计在2026年末 有望在部分场景实现约70%的推理成本下降 存在后发优势可能性 [7] - 产业呈现分工图景 GPU继续主导训练与通用算力市场 定制ASIC在规模化、可预测的推理负载中不断渗透 英伟达的CUDA生态与系统级研发投入构成护城河 [7]

**行业与公司** * 纪要涉及英伟达（Nvidia）及其新发布的Rubin CPX专用加速器 以及AMD、谷歌TPU、AWS Trainium、Meta MTAv等竞争对手[3][5][6] * 行业聚焦于人工智能加速器 特别是推理（inference）阶段的预填充（prefill）和解码（decode）硬件优化[3][4][7] **核心观点与论据** * 英伟达推出Rubin CPX 一款专为推理预填充阶段优化的单芯片GPU 其设计强调计算FLOPS而非内存带宽 通过使用成本更低的GDDR7内存（128GB容量 2TB/s带宽）替代昂贵的HBM 显著降低了成本（内存成本降低至R200的20% 整体BOM成本降至R200的25%）[3][7][9][17][22] * Rubin CPX提供20 PFLOPS的FP4密集计算能力 而双芯片R200提供25.2 PFLOPS密集计算和20.5TB/s HBM带宽 但CPX在预填充阶段能实现更高的计算资源利用率[9][10][19] * 新架构将Vera Rubin机架级服务器扩展为三种配置：VR200 NVL144（纯R200 GPU）、VR200 NVL144 CPX（混合R200和CPX GPU）、Vera Rubin CPX双机架（独立CPX机架） 其中CPX双机架提供2,880 PFLOPS密集计算和288TB/s GDDR7带宽[11][28][33] * 预填充阶段主要受计算能力约束（FLOPS密集型） 解码阶段受内存带宽约束 使用通用硬件（如R200）处理预填充会导致昂贵的HBM带宽利用率极低（仅0.7%） 造成资源浪费（每小时TCO浪费$0.90） 而CPX专用于预填充可减少浪费（TCO浪费降至$0.16/小时）[14][57][59][70] * 英伟达的机架系统设计优势扩大（Oberon架构） 采用无电缆设计、液冷（100%液冷覆盖率）和更高功率预算（VR NVL144 CPX达370kW） 而竞争对手（如AMD MI300X）在机架规模设计和软件生态上仍需追赶[5][6][26][101] **其他重要内容** * 技术细节：Rubin CPX采用单芯片SoC设计 无需CoWoS封装 通过PCIe Gen6 x16连接（带宽128GB/s） 而非NVLink 其TDP估计为800W[17][21][22][39] * 市场影响：CPX的推出可能降低HBM在系统BOM中的占比（因GDDR7成本更低） 但解码阶段仍依赖HBM 因此HBM需求可能因总AI计算量增长而抵消[71][73][76] * 竞争格局：AMD、谷歌、AWS、Meta等竞争对手需重新规划产品路线图 开发各自的预填充专用芯片以保持竞争力 否则将在推理能效和TCO上落后[6][92][94][100] * 成本分析：Rubin CPX的相对BOM成本仅为R200的25% 但提供其60%的计算能力 使英伟达能在提升性能的同时提高利润率[22][109] * 架构创新：Vera Rubin机架采用模块化子卡设计 集成CX-9 NIC（800G）、BlueField-4 DPU和PCIe中背板（midplane）替代电缆 提升可靠性和密度[36][37][49] **潜在风险与机会** * 风险：专用硬件（如CPX）可能缺乏灵活性 若工作负载变化（如预填充与解码比例调整） 固定配置的机架（如VR NVL144 CPX）可能无法优化[90] * 机会：预填充专用芯片可大幅降低推理成本（如DeepSeek V3模型推理中 通信需求仅需PCIe Gen6 无需NVLink） 推动AI推理需求增长[79][84][85]