Workflow
AWS Trainium3
icon
搜索文档
英伟达Rubin CPX 的产业链逻辑
傅里叶的猫· 2025-09-11 23:50
文章核心观点 - 英伟达推出Rubin CPX专用预填充加速器 解决AI推理中预填充和解码阶段硬件需求矛盾 通过专用硬件设计显著降低成本并提升效率[1][2][3] - 第三代Oberon架构机架采用无电缆设计和全液冷方案 实现更高计算密度和散热能力[8][9][10] - 行业竞争格局可能被重塑 竞争对手面临更大压力 GDDR7需求可能爆发[13][15][16] AI推理硬件需求矛盾 - AI大模型推理存在预填充(prefill)和解码(decode)阶段硬件需求矛盾:预填充阶段需要高计算能力但内存带宽需求低 解码阶段需要高内存带宽但计算需求低[2][3] - 通用GPU方案导致资源浪费:预填充阶段HBM内存带宽利用率仅0.7% 解码阶段计算能力过剩[3][7] - 专用硬件解决方案可提升效率:预填充阶段每小时浪费TCO从R200的0.9美元降至CPX的0.16美元[6][7] Rubin CPX配置特点 - 采用GDDR7替代HBM:内存带宽从R200的20.5TB/s降至2TB/s 但成本降低80%[4][6] - 封装和连接简化:从CoWoS封装改为FC-BGA SerDes速率从224G降至64G(PCIe Gen6)[4][5] - 成本效益显著提升:BOM成本仅为R200的25% 但提供60%计算能力[6] - 内存利用率优化:带宽利用率从0.7%提升至4.2% 容量浪费从286GB降至123GB[7] Oberon机架架构升级 - 无电缆设计:采用Amphenol板对板连接器和PCB中板 消除飞线故障点[9] - 计算密度提升:单个计算托盘容纳4个R200 GPU+8个Rubin CPX+2个Vera CPU 整机架达396个计算和网络芯片[9] - 全液冷散热方案:功率预算达370kW 采用三明治设计共享液冷冷板 支持7040W托盘功率[10] - 灵活扩展能力:支持单独添加VR CPX机架通过InfiniBand/以太网连接 可调整预填充与解码比例[12] 行业竞争影响 - AMD面临压力:MI400机架19.8TB/s带宽被R200的20.5TB/s超越 需重新规划产品路线[13] - 云计算厂商受冲击:谷歌TPU需开发专用预填充芯片 AWS Trainium3机架需额外设计EFA侧机架[13] - 定制ASIC公司处境困难:在硬件专用化趋势下可能被成本压制[13] - GDDR7需求增长:三星因产能充足获得大订单 SK海力士和美光因专注HBM产能受限[15][16] 产业链变化 - PCB价值量提升:每GPU的PCB价值从GB200的400美元升至VR200的900美元[21] - 中层板需求增加:每个NVL144需18个中层板 采用44层PTH PCB[20] - 液冷系统需求扩张:每颗CPX芯片需配冷板 同时拉动转接头、CDU和管路需求[22] 未来发展方向 - 可能推出解码专用芯片:减少计算能力 增加内存带宽 进一步优化能效[14] - 硬件专用化趋势加速:预填充和解码阶段可能分别采用不同专用芯片[14]
摩根士丹利:AI ASIC-协调 Trainium2 芯片的出货量
摩根· 2025-07-11 09:13
报告行业投资评级 - 行业评级为In-Line [8] 报告的核心观点 - 因投资者对AWS Trainium2/2.5芯片出货量假设存疑,进行后续研究,供应链检查显示Trainium2/2.5生命周期(2H24 - 1H26)预计出货190万单位 [2][11] - 归因AWS Trainium2/2.5芯片在半导体和系统间出货量不匹配问题,是PCB良率不稳定所致,预计2025年芯片出货量达110万单位 [1][8] - 随着Trainium2基板和机架组装良率提升,出货量差距可能在2025年下半年缩小 [6] 各部分总结 芯片出货量情况 - Trainium2/2.5生命周期(2H24 - 1H26)预计出货190万单位,2024年末已生产30万单位Trainium2芯片,2025年CoWoS - R总产能预订意味着Trainium2/2.5出货约110万单位,其中约70%由台积电封装,30%由日月光封装,预计2026年上半年再生产50万单位Trainium2.5芯片 [3][11] - 2026年Trainium2预计降至50万单位,Trainium3预计生产60 - 65万芯片,Trainium4预计2027年末小批量生产,2028年快速增长 [11][13][14] 不同环节视角 - 上游芯片产出方面,看到110万单位,与下游数据有差异 [11] - 中游PCB方面,下游分析师检查显示下游组件出货可能意味着超过180万单位Trainium芯片,自4月以来约每月20万单位,金居提供Trainium计算托盘的PCB板,King Slide提供导轨套件 [4] - 下游服务器机架系统方面,纬颖是服务器机架组装关键供应商,其AWS Trainium2服务器收入在2025年第一季度开始增长,基于每机架32颗芯片的服务器机架单位,芯片消耗量与上游的110万单位一致 [5] 其他组件供应商 - 热解决方案主要由AVC(>80%)供应,电源/BBU由光宝科技提供,King Slide是主导导轨套件供应商,Bizlink是AEC供应商,三星是Trainium2.5主要供应商,Trainium3会增加海力士和美光作为供应商 [10] 全球CoWoS需求 - 展示了2023 - 2026年各公司的CoWoS需求及占比情况,如英伟达、博通、AMD等,AWS + Alchip在2023 - 2026年的需求分别为9、16、5、40k wafers,占比分别为8%、4%、1%、5% [17] 全球HBM消费 - 2025年预计HBM消费高达160亿GB,展示了各AI芯片供应商产品的CoWoS容量分配、芯片出货量、HBM芯片密度、单位数量、总HBM需求等信息 [19][20] 相关公司项目情况 - AWS Trainium2的5nm设计服务由美满电子处理,Trainium3项目中,确信Alchip的3nm项目市场份额和生产时间,台积电的CoWoS产能分配将支持其发展,预计2026年初开始高产量生产,2026年Alchip预计营收15亿美元 [11][12][13] - 亚洲团队认为Alchip很可能继续赢得Trainium4的2nm项目,AWS可能很快做出早期决定,Trainium4预计2027年末小批量生产,2028年快速增长 [14] 行业覆盖公司评级 - 列出Greater China Technology Semiconductors行业覆盖公司的评级、价格等信息,如ACM Research Inc评级为O,价格为27.98美元;台积电评级为O,价格为1080新台币等 [79][81]