Workflow
Dynamo推理软件
icon
搜索文档
中金 | AI进化论(11):GTC 2025,超摩尔定律延续,CPO正式亮相
中金点睛· 2025-03-28 07:33
文章核心观点 - NVIDIA GTC 2025大会上CEO从供需端分析AI硬件行业趋势,带来CPO通信技术更新,需求端缓解算力通缩担忧,供给端芯片、服务器和网络通信有新品发布及技术进展,CPO虽处产业化初期但长期有扩大应用机会 [1][3][4] 行业需求 - 投资者因LLM预训练成本收益比下降和开源模型降成本而担忧算力硬件市场增长,公司重申预训练后、后训练和长思维链推理等场景遵循Scaling Law,加速token消耗扩大算力需求,如强化学习和思维链推理,还预计2028年全球数据中心资本开支超1万亿美元 [7] - AI产业拐点至,推理任务占比在算力需求中增长,推理需求对Blackwell GPU订单量贡献上升,大会发布Dynamo推理软件优化推理任务,协调加速GPU间通信,采用Prefill/Decode分离模式 [9] 硬件更新之芯片&服务器 - 大会公布未来三年数据中心GPU及系统级产品,FP4稠密算力三年翻10x,公司将以GPU die数量命名系统及产品 [14] - Blackwell Ultra预计2H25交付,采用新设计,FP4精度算力较B200系列提升50%,内存配置升级至288GB HBM3E [14] - Vera Rubin自2H26起成主力产品,采用TSMC 3nm工艺,释放I/O die到独立小芯粒,系统级产品以NVL 144架构起步,CPU采用新架构,互联带宽提升;2H27有望推出Rubin Ultra,性能进一步跨越,推出NVL 576机柜产品 [15] - Feymann有望2028年推出,与Vera CPU搭配并迎来HBM升级 [16] 硬件更新之网络 C2C和B2B互联持续迭代 - Scale-up网络中,Vera Rubin NVL144机柜NVLink升级至6,连接总带宽达260TB/s,2027年下半年Rubin Ultra NVL576的NVLink迭代至7,聚合总带宽达1.5PB/s,提升GPU间通信效率 [21] - Scale-out网络中,Vera Rubin NVL144用Connect-X9智能网卡,总带宽28.8TB/s,Rubin Ultra NVL576总带宽提升至115.2TB/s,Rubin平台用Connect-X9和102T Spectrum6 CPO交换机,Feynman平台有望引入Connect-X10和204T Spectrum7 CPO交换机 [22] CPO交换机正式亮相 - CPO构建高密度光互连,缩短光信号电学互连长度,减少信号衰减和失真,未来走向晶圆级封装提升互连密度 [24] - GTC 2025发布三款CPO交换机,IB CPO交换机有望2H25量产交付,两款Spectrum CPO交换机有望2H26交付 [27] - 硅光调制采用微环调制器,尺寸小、功耗低,115.2T IB CPO交换机中每个硅光引擎用MRM调制,单通道速率200Gb/s,节省3.5倍功耗 [30] - CPO处于产业化初期,面临散热、维护和实际TCO高等挑战,本次发布产品基于液冷、可插拔光连接器方案给出解决思路,长期随着技术和生态问题解决,CPO有望扩大应用,光器件与先进封装成核心增量环节 [34][35]