文章核心观点 - 云计算行业正经历由AI驱动的范式转移，催生了以CoreWeave为代表的“Neocloud”（新云）新物种，其凭借极致效率和对NVIDIA顶级GPU算力的专注，成为AI时代的新基建并挑战传统云巨头的垄断地位 [3][6] - CoreWeave是Neocloud赛道的绝对主角，其崛起背后是NVIDIA为制衡科技巨头自研芯片而进行的战略扶持，公司营收在两年内暴涨100倍，从2022年的1600万美元增长至2024年的19亿美元，估值达370亿美元 [3][5][9] - 投资Neocloud的本质是博弈算力的“供需周期”，该赛道既有成为AI时代“超级公用事业公司”的潜力，也面临高杠杆、技术迭代和客户集中度等严峻考验 [3][24] 为什么AI需要“新云” - AI时代的技术范式从互联网时代的并发处理转变为并行计算，传统云架构出现“排异反应”，其虚拟化层会带来10%-20%的算力损耗，而AI训练需要极致性能 [7] - 传统数据中心存在物理瓶颈，其机架设计功率通常为10-15kW，难以满足NVIDIA H100/Blackwell集群单机柜40kW甚至100kW的高功率密度要求，改造周期长达18个月 [7][10] - AI训练需要超低延迟的InfiniBand网络以实现数千张GPU的协同工作，传统云的以太网架构难以满足吞吐需求，这为从零构建AI-First基础设施的Neocloud提供了机会 [7][10] - NVIDIA为制衡积极研发自研芯片的AWS、Google和Microsoft等传统云巨头，需要扶持没有自研野心的忠实盟友，CoreWeave因此被选为“代理人”，获得NVIDIA在资本、产能和技术上的全方位扶持 [7][8] CoreWeave深度解析：AI算力之王的野心与隐忧 - CoreWeave展现出惊人的扩张速度，营收从2022年的1600万美元增长至2024年的19亿美元，两年增长超100倍，2025年有望进一步翻倍至50亿美元 [9] - 公司商业模式是“算力租赁”，类似于利用长期合同作为抵押物进行债务融资，再购买GPU的金融循环模式，截至2025年第三季度总债务超过190亿美元，前九个月净亏损达7.15亿美元 [11][13] - 公司的护城河在于其与NVIDIA的特殊关系，NVIDIA不仅给予优先配货权，还签署了63亿美元的容量保障协议，承诺在2032年前购买其未售出产能 [12] - 截至2025年第三季度，CoreWeave的合同发电容量达2.9吉瓦，其中1吉瓦可供未来12-24个月出售，在电力成为AI瓶颈的当下，规模化的电力资源是硬通货 [12] - 通过收购MLOps领导者Weights & Biases，公司正从单一算力租赁商向增加客户粘性的全栈AI平台转型 [12] - 公司面临高风险，客户集中度极高，2024年微软贡献了其62%-72%的营收，同时其采用的6年GPU折旧标准在技术快速迭代的AI领域可能过于乐观 [15] Nebius与第二梯队：寻找下一个Alpha - Nebius是俄罗斯Yandex分拆后的欧洲新贵，走“精益增长”路线，拥有大量净现金且债务极低，预计2025年年度经常性收入将达10亿美元 [17][18] - 与CoreWeave相比，Nebius在2025年第三季度营收为1.461亿美元，同比增长39%，虽净亏损1.196亿美元，但财务状况更稳健，当前比率高达6.57 [19] - Nebius近期与微软签订了价值170亿美元的长期合同，验证了其技术实力，为投资者提供了比CoreWeave更高安全边际的选择 [19] - Applied Digital是Neocloud产业链的“房东”型伙伴，专注于数据中心建设和运营，为CoreWeave等提供托管服务，规避了GPU技术贬值风险，享受资产升值红利 [20] CoreWeave：下一个思科还是亚马逊 - 相对乐观估计下，若AI需求持续爆发且公司能维持市场份额，其营收在2030-2032年有望达650亿美元，EBITDA达260亿美元，按25倍EV/EBITDA估值，市值可达6500亿美元 [22] - 公司面临类似2000年互联网泡沫时期思科的风险，当AI基建从“抢装期”进入“存量期”，高增长故事可能难以为继，产能过剩和技术迭代是主要威胁 [22] - 投资者需重点关注公司的执行力，如GPU上线速度和电力并网进度，而非积压订单的规模 [22] - 构建投资组合可平衡风险，CoreWeave代表激进选择，Nebius是稳健替代，而NVIDIA是整个赛道的“收税人” [23] - 微软的资本开支计划和自研芯片进度是CoreWeave股价最大的潜在“黑天鹅”事件，需高度警惕 [23]

AMD市场展望与产品规划 - AMD首席执行官苏姿丰预测，到2030年AI数据中心的总市场规模将突破1万亿美元 [1] - AMD下一代MI400系列AI芯片预计将在2026年推出，产品线将涵盖用于科学计算和生成式AI的多种型号 [1] - 除芯片外，公司还计划推出整机服务器机架系统，以进一步完善其AI硬件生态 [1] - 公司整体营收预计在未来三到五年内将以约35%的年复合增速扩张，增长的大部分将来自数据中心业务 [1] 行业高层人事变动 - Meta首席人工智能科学家杨立昆计划在未来几个月内离职，并创办自己的公司 [2] - 杨立昆的创业项目将继续围绕"世界模型"的研究展开，目前正与潜在投资者进行早期谈判 [2] - 此次离职是Meta的又一高层变动，此前人工智能研究副总裁Joelle Pineau已于今年5月离职，且公司上月还在AI研究部门裁员约600人 [2] 生成式AI版权监管动态 - 德国慕尼黑地方法院裁定，OpenAI未经授权使用德国音乐人创作的歌词构成侵犯版权，需向原告支付赔偿金 [3] - 此案始于2024年11月由德国音乐演出和作品复制权协会提起的诉讼，该协会代表约十万名词曲作者和出版人 [3] - 该裁决可能成为欧洲对生成式人工智能技术版权监管的重要判例 [3] 科技巨头AI基础设施投资 - 微软宣布未来几年将在葡萄牙锡尼什投资100亿美元，用于建设AI基础设施，这将成为欧洲最大规模的AI投资项目之一 [4] - 微软将与Start Campus、Nscale及英伟达合作，部署12600块新一代英伟达GPU [4] - 该项目旨在助力葡萄牙成为欧洲负责任且可扩展的AI发展标杆 [4] AI行业会计操作争议 - "大空头"迈克尔·伯里指出，科技巨头通过延长资产的有效使用寿命来低估折旧，从而人为抬高收益 [5][6] - 在计算设备通常只有2至3年产品周期的背景下，一些公司（如Meta、Alphabet、微软、甲骨文和亚马逊）将折旧周期延长至6年 [5][6] - 伯里预计从2026年到2028年，大型科技公司将因低估折旧而虚增1760亿美元的利润 [6]

AI基础设施电力需求 - 美国AI巨头面临电力短缺问题 发电与电网基础设施落后限制了token产出规模 [1] - 微软CEO认为电力与数据中心建设速度是限制token产出的关键因素 而非GPU短缺 [1] - 美国数据中心规模正从1GW级向10GW级迈进 例如怀俄明州数据中心一期目标1.8GW 远期目标10GW [1] - Meta表示若能获得更多能源 将可建立比现有规模更大的计算集群 [1] 美国电网面临的挑战 - 公共事业公司因担心AI泡沫风险 不愿签署大额购电协议或投资输电基础设施 [2] - 现有电网难以支撑大规模数据中心负荷 最高容量765kV双回路仅能承载6-7GW [2] - NextEra公司CEO指出支撑1GW需求相对容易 但容纳5GW需要大量工作 10GW更具挑战性 [2] - OpenAI创始人认为长期电力采购协议存在风险 若廉价能源快速上线可能造成损失 [2] 政策支持与中美电力对比 - 谷歌向白宫建议将创新重点从芯片转向电网 该建议被纳入美国AI基础设施建设计划 [3] - OpenAI建议美国每年需新增100GW电力容量以与中国竞争 去年美国新增51GW 中国新增429GW [3] - 中国发电量是美国两倍多 电网更为坚强 但面临国产芯片能效较低的挑战 [3] - 字节跳动日均token调用量从5月16.4万亿攀升至9月30万亿 4个月内翻倍增长 [3] 中国AI生态的电力成本 - 中国主流云厂商1GW数据中心全年电费约为80-90亿元人民币 [5] - 华为CloudMatrix 384总算力比英伟达GB200 NVL72高1.7倍 但能耗高出3.9倍 [5] - 单位算力能效对比显示 GB200为0.81pJ/FLOP 而CloudMatrix 384为1.87pJ/FLOP 多消耗130%电力 [5] - 中国西部省份工业电价较东部沿海低约30% 部分区域电价已降至每度0.4元人民币以下 [6] 中美电力成本与能效差距 - 美国工业电力平均成本约为9.1美分/kWh 中国为5.6美分/kWh [6] - 考虑能效差异后 中国AI生态每FLOP算力任务的电费成本相当于美国的140% [6] - 华为展示了昇腾AI芯片4年5款产品路线图 但未披露最新能效数据 [6] - 中国在先进制程等半导体领域尚未追平国际领先水平 单位能效差距短期难以抹平 [6] 中国国产算力发展策略 - 国家政策鼓励数据中心使用国产芯片 特别是央企与政务相关领域 [4] - A股市场加速迎接摩尔线程与沐曦股份上市 壁仞科技 砺算科技与燧原科技也在推进中 [4] - 开源模型厂商如DeepSeek正牵引芯片厂商进行软硬件协同设计 [4] - 产业政策通过电价补贴支持国产算力生态 但全球竞争时补贴优势将削弱 [6]

文章核心观点 - 文章核心观点是分析AI服务器Scale Up高速互联技术的市场格局、主流技术方案及其发展前景，重点探讨了英伟达NVLink、博通SUE和由AMD、Marvell等公司推动的UALink三大技术路线的竞争态势 [1][3][5] - 随着AI算力需求增长，Scale Up网络市场预计将从2024年的40亿美元以34%的年复合增长率增长至2029年的170亿美元，为非英伟达阵营的互联技术提供了巨大市场机会 [5][7] - Scale Up技术生态目前呈现割裂状态，未来竞争结果将取决于xPU市场份额划分、新网络标准演进以及客户的数据中心架构选择 [10][22] Scale Up和Scale Out概念 - Scale Up网络指同一台服务器或同一机架内GPU之间的高速通信网络，通过加速器互联使其协同工作，相当于一台大型超级计算机 [3] - 在Hopper时代以8卡机为主，服务器内部GPU可通信，服务器间需接交换机；Blackwell时代的GB200 NVL72则将一个机架内的72个GPU视为单一虚拟GPU，消除了服务器间通信瓶颈 [5] 主流Scale Up方案对比 - 英伟达采用专有NVLink协议实现GPU集群互联，在GB200/300的NVL72配置中，NVLink扩展至Blackwell GPU与Grace CPU的连接，预计未来将继续仅通过NVLink实现Scale Up [11] - AMD借助专有Infinity Fabric技术实现MI300 GPU的Scale Up，单个服务器最多连接8个GPU；即将推出的MI400将采用72-GPU机架配置，通过基于以太网的UALink实现Scale Up [12] - 谷歌通过芯片间互联技术实现机架内TPU Scale Up，借助光电路交换技术实现跨机架扩展；基于TPUv7架构的完整扩展pod可支持多达9216个TPU [13] - 亚马逊采用专有NeuronLink互联技术实现Scale Up通信，可在四个Trainium2实例间连接多达64个芯片；目前正与阿斯特拉实验室合作研发专用Scale Up交换机，预计2026年推出 [14] - 博通的SUE采用AI优化以太网，具备超低延迟和高性能，使用博通Tomahawk交换机，支持横向与纵向扩展的第六代产品已于6月出货 [17] - UALink是专为AI设计的内存语义互联技术，目前处于发展初期，由AMD、ALAB、MRVL及多家超大规模企业组成的联盟支持，基于AMD的Infinity Fabric，物理层依托以太网 [17] 国内超节点发展现状 - 目前国内已公布超节点方案的只有华为和阿里，华为有UB Mesh，阿里有ALink；其他国产GPU厂由于系统复杂性高且需要自有互联协议，面临较大挑战 [9] - 阿里欢迎其他厂家加入ALink生态，但其他厂家可能因竞争关系不愿兼容，同时受国际形势影响可能也不会选择国外互联总线，导致国内生态发展存在不确定性 [9] 互联介质选择：光与铜 - 当前Scale Up网络以铜缆为主，因其在短距离内具有纳秒级低延迟和成本优势，能避免光器件的额外成本和功耗 [20] - 单机架加速器部署规模上限约为72个，受架构、功耗与散热、物理密度和可靠性四大因素限制；若规模超过100个或需转向光连接 [20] - 预计铜缆将在Scale Up网络中长期使用，但当Scale Up突破单机架实现数百个GPU集群时，可能于2028年及以后引入光器件 [20][21] 市场竞争格局与关键因素 - Marvell在UALink生态中的主要贡献是准备做UALink switch，这是整个生态中最关键的一环 [22] - 当前市场处于早期阶段，架构、技术标准和客户偏好仍在变化中，最终胜出的Scale Up技术尚未确定，但市场规模足以支撑多家供应商共存 [22] - 长期来看，非英伟达阵营预计将从专有Scale Up网络逐步转向UAL、SUE等开源解决方案，这些技术有望在2027-2028年随着技术成熟及新ASIC产品放量而得到更广泛应用 [22]

英伟达的战略投资与收购活动 - 公司近期密集进行资本运作，包括对英特尔高达50亿美元（约合人民币355亿元）的战略投资，以及对英国AI初创公司生态系统20亿英镑（约合人民币193亿元）的投资 [4][29][37] - 公司通过“人才收购”方式，以超过9亿美元（约合人民币64亿元）招揽了AI网络芯片创企Enfabrica的创始人、CEO及其团队，并获得技术授权 [4][20] - 2024-2025年间，公司已收购至少11家AI初创公司，以垂直整合方式增强其全栈AI竞争力 [4][15][16] 英伟达与英特尔的战略合作 - 合作旨在结合双方优势，英伟达是AI加速计算领导者，英特尔是数据中心和PC CPU领导者，将共同开发定制数据中心x86处理器及集成GPU的x86 SoC PC芯片 [7][8][29] - 合作内容包括英伟达将成为英特尔服务器CPU的主要客户，购买其x86 CPU并集成到自家超级芯片和AI超级计算机中 [7][8] - 双方技术团队已就架构解决方案进行约一年的讨论，此次合作完全聚焦于定制芯片设计，且不会影响英伟达既定的Arm路线图 [7][8] 英伟达的收购策略与目标 - 公司的收购策略审慎，奉行“花小钱”、“挖精尖”、“填缝隙”路线，侧重于吸收拥有专精特新技术的精悍团队 [16][18] - 收购案例包括以色列GPU编排软件创企Run:ai（交易价约7亿美元/人民币50亿元）、以色列AI创企Deci（可将AI模型推理性能提高3-15倍，计算成本降低80%）、美国AI软件创企OctoAI（收购价约1.65亿美元/人民币12亿元）等 [16][17] - 多家被收购公司由华人创办，例如AI Infra创企Lepton AI（交易价数亿美元）及生成式AI创企Nexusflow [16][18][19] 英伟达在英国AI生态的布局 - 公司向英国AI基础设施创企Nscale投资近7亿美元（约合人民币50亿元），该创企正在英国部署6万张英伟达Grace Blackwell GPU，并参与建设“英国版星际之门”AI基础设施项目 [10][38][39] - 英国计划部署12万张英伟达Blackwell Ultra GPU，投入高达110亿英镑，构建比当今顶级超级计算机性能强大100倍的AI基础设施 [40][41] - 公司认为英国作为全球第三大AI市场，是推动下一轮AI工业革命的理想生态系统，正与CoreWeave、微软等合作伙伴联手构建AI工厂，预计2026年底投入运营 [41] 英伟达的投资生态与市场影响 - 公司通过其企业投资和风险投资基金NVentures，广泛投资于AI生态系统，2023年及2024年分别参与了34笔和49笔AI相关公司融资 [43] - 投资组合涵盖大量明星生成式AI、AI基础设施及具身智能机器人企业，如OpenAI、xAI、Mistral、Cohere、CoreWeave、Figure等 [43] - 公司市值今年迄今已上涨8954亿美元（约合人民币6万亿元），涨幅达26.43%，利用其财富不断培育更广阔的AI生态与市场 [13][43]

**行业与公司** * 纪要涉及英伟达（Nvidia）及其新发布的Rubin CPX专用加速器 以及AMD、谷歌TPU、AWS Trainium、Meta MTAv等竞争对手[3][5][6] * 行业聚焦于人工智能加速器 特别是推理（inference）阶段的预填充（prefill）和解码（decode）硬件优化[3][4][7] **核心观点与论据** * 英伟达推出Rubin CPX 一款专为推理预填充阶段优化的单芯片GPU 其设计强调计算FLOPS而非内存带宽 通过使用成本更低的GDDR7内存（128GB容量 2TB/s带宽）替代昂贵的HBM 显著降低了成本（内存成本降低至R200的20% 整体BOM成本降至R200的25%）[3][7][9][17][22] * Rubin CPX提供20 PFLOPS的FP4密集计算能力 而双芯片R200提供25.2 PFLOPS密集计算和20.5TB/s HBM带宽 但CPX在预填充阶段能实现更高的计算资源利用率[9][10][19] * 新架构将Vera Rubin机架级服务器扩展为三种配置：VR200 NVL144（纯R200 GPU）、VR200 NVL144 CPX（混合R200和CPX GPU）、Vera Rubin CPX双机架（独立CPX机架） 其中CPX双机架提供2,880 PFLOPS密集计算和288TB/s GDDR7带宽[11][28][33] * 预填充阶段主要受计算能力约束（FLOPS密集型） 解码阶段受内存带宽约束 使用通用硬件（如R200）处理预填充会导致昂贵的HBM带宽利用率极低（仅0.7%） 造成资源浪费（每小时TCO浪费$0.90） 而CPX专用于预填充可减少浪费（TCO浪费降至$0.16/小时）[14][57][59][70] * 英伟达的机架系统设计优势扩大（Oberon架构） 采用无电缆设计、液冷（100%液冷覆盖率）和更高功率预算（VR NVL144 CPX达370kW） 而竞争对手（如AMD MI300X）在机架规模设计和软件生态上仍需追赶[5][6][26][101] **其他重要内容** * 技术细节：Rubin CPX采用单芯片SoC设计 无需CoWoS封装 通过PCIe Gen6 x16连接（带宽128GB/s） 而非NVLink 其TDP估计为800W[17][21][22][39] * 市场影响：CPX的推出可能降低HBM在系统BOM中的占比（因GDDR7成本更低） 但解码阶段仍依赖HBM 因此HBM需求可能因总AI计算量增长而抵消[71][73][76] * 竞争格局：AMD、谷歌、AWS、Meta等竞争对手需重新规划产品路线图 开发各自的预填充专用芯片以保持竞争力 否则将在推理能效和TCO上落后[6][92][94][100] * 成本分析：Rubin CPX的相对BOM成本仅为R200的25% 但提供其60%的计算能力 使英伟达能在提升性能的同时提高利润率[22][109] * 架构创新：Vera Rubin机架采用模块化子卡设计 集成CX-9 NIC（800G）、BlueField-4 DPU和PCIe中背板（midplane）替代电缆 提升可靠性和密度[36][37][49] **潜在风险与机会** * 风险：专用硬件（如CPX）可能缺乏灵活性 若工作负载变化（如预填充与解码比例调整） 固定配置的机架（如VR NVL144 CPX）可能无法优化[90] * 机会：预填充专用芯片可大幅降低推理成本（如DeepSeek V3模型推理中 通信需求仅需PCIe Gen6 无需NVLink） 推动AI推理需求增长[79][84][85]

投资评级 - 维持"买入"评级 [5] 核心观点 - 公司数据中心业务持续增长，网络收入同比+98%，环比+46%，主要受机柜出货带动的 switch tray 收入增长及 Spectrum-X 平台拉动 [3] - 产品迭代稳步推进，GB300 开始出货，GB200 NVL72 已被云厂商及模型厂广泛采用，下一代产品 Rubin 预计明年量产 [3] - 非数据中心业务高速增长，游戏、专业可视化、汽车业务营收同比分别+48.9%、+32.4%、+69.4%，AI 渗透率提升及自驾、机器人应用有望继续推动增长 [4] - 公司有望成为 AI 硬件平台型公司，下游云厂商模型迭代及推理需求为核心驱动力，主权 AI 需求（预计今年达 200 亿美元）可降低云厂商需求波动 [3][5] - 长期 AI 基础设施市场预计 2030 年达 3~4 万亿美元 [3] 业绩表现 - FY26Q2 营收 467.43 亿美元，同比+55.6%，环比+6.1% [2] - FY26Q2 GAAP 毛利率 72.4%，GAAP 净利润 264.22 亿美元；Non-GAAP 毛利率 72.7%，Non-GAAP 净利润 257.83 亿美元 [2] - 公司指引 FY26Q2 营收 540 亿美元（±2%），GAAP 毛利率 73.3%，Non-GAAP 毛利率 73.5% [2] 财务预测 - 预计 FY26~FY28 GAAP 净利润分别为 1111.5 亿、1641.6 亿、1882.8 亿美元 [5] - FY26E 营收 2936.94 亿美元（同比+46.4%），FY27E 营收 3327.55 亿美元（同比+13.3%） [10] - FY26E 归母净利润 1641.41 亿美元（同比+47.7%），FY27E 归母净利润 1882.21 亿美元（同比+14.7%） [10]

公司股价表现 - 8月27日公司股价盘中上涨逾7% 收盘报14.78元/股 自4月以来累计涨幅达63.68% [1] - 市值达1035.81亿元 [1] 英伟达液冷业务布局 - 招聘信息显示公司招聘英伟达液冷交付高级工程师 要求精通MGX架构及认证体系 [1] - 职位职责包括主导GB300液冷机柜（单柜400kW+）全生命周期交付及联合制定液冷接口标准 [1] - 市场解读为切入英伟达液冷供应链的关键信号 [1] AI服务器散热技术趋势 - 英伟达GB300 NVL72机柜系统功耗预计达135kW至140kW 较GB200 NVL72的125-130kW进一步提升 [3] - 液冷技术热导率较风冷提高一个数量级 可满足高功率密度散热需求 [3] - GB300采用完全液冷式机架设计 引领AI服务器液冷新潮流 [3] 公司散热业务能力 - 公司为AMD等国际客户批量出货散热模组 具备CDU/液冷模组/液冷板等全系列散热解决方案研发生产能力 [4] - 散热业务覆盖AI基建（GPU/CPU/服务器）及AI应用（笔记本/人形机器人/可穿戴设备）领域 [4] 业务结构转型 - 从苹果供应链向AI终端硬件智造平台转型 覆盖消费电子/汽车/机器人领域 [4] - 机器人被定位为第三大核心业务 计划未来三年每年投资不少于2亿元 [5] 财务业绩表现 - 一季度营收114.94亿元 同比增长17.11% 归母净利润5.65亿元 同比增长23.52% [5] - 预计上半年净利润9-11.4亿元 同比增长31.57%-66.66% [5] - 利润增长源于高附加值产品研发投入增加/市场份额提升/制造成本优化 [6] 消费电子业务支撑 - 苹果仍是重要合作伙伴 iPhone17系列将于9月10日发布 采用全新相机模组设计 [5] - 为苹果全系产品提供数千种模组件和零部件 [2]

AI服务器成本分析 - H100服务器价格在过去18个月有所下降 目前每台约19万美元 超大规模数据中心每台服务器总前期资本成本高达25万美元[2] - GB200 NVL72服务器在超大规模数据中心仅机架式服务器成本就达310万美元 加上网络存储等组件后每个机架总成本约390万美元[2] - GB200 NVL72每GPU全部资本成本约为H100每GPU成本的1.6倍到1.7倍 具体取决于买家类型[2] 资本支出比较 - 超大规模企业H100 SXM服务器成本为189,637美元 GB200 NVL72达3,178,028美元[3] - Neocloud巨头H100服务器成本200,684美元 GB200达3,400,420美元[3] - 新兴Neoclouds的H100成本213,247美元 GB200达3,502,433美元[3] - 每GPU前期资本支出超大规模企业H100为31,358美元 GB200为54,400美元[3] - 加权平均资本成本超大规模企业9.4% Neocloud巨头13.3% 新兴Neoclouds达17.5%[3] 运营成本分析 - 电力成本统一为每千瓦时0.087美元 利用率均为80% 电源使用效率1.35[4] - 超大规模企业H100每GPU运营成本每月249美元 GB200为359美元[4] - Neocloud巨头H100每月287美元 GB200达397美元[4] - 新兴Neoclouds的H100每月333美元 GB200运营成本更高[4] - 每GPU每小时运营成本超大规模企业H100为0.34美元 GB200为0.49美元[4] 总拥有成本 - 超大规模企业H100每GPU每小时总成本1.42美元 GB200达2.36美元[5] - Neocloud巨头H100成本1.69美元 GB200为2.74美元[5] - 新兴Neoclouds的H100成本1.95美元 GB200达3.06美元[5] - 资本成本占总拥有成本比例超大规模企业H100为75.9% GB200为79.2%[5] 软件性能改进 - GPT-3 175B训练BF16模型浮点运算利用率从2024年1月34%提升至12月54% 吞吐量提升57%[11] - FP8模型利用率从29.5%提高至39.5% 吞吐量提升34%[11][12] - 训练成本从每百万token 72美分下降至54.2美分 总成本从21.8万美元降至16.2万美元[12] - 2024年12月软件版本每个token能耗FP8为2.46焦耳 BF16为3.63焦耳[13] 扩展性能研究 - Llama3 405B训练在576到2304个H100规模下FP8 MFU保持在43%左右 BF16 MFU约54%[17][18] - 使用2304个H100训练Llama3 405B每百万token成本BF16为1.95美元 预训练总成本达2910万美元[18] - Llama3 70B训练在64到2048个H100规模下FP8 MFU从38.1%降至35.5% BF16 MFU从54.5%降至53.7%[20][21] - Llama3 8B训练在128个H100上从2024年11月至2025年4月BF16 MFU从58.5%提升至62.2%[23] 能源消耗分析 - 训练GPT-3 175B的300B token FP8需19个美国家庭年能耗 BF16需28个家庭[13] - Llama3 405B训练15T token需相当于3400个美国家庭年能耗量[19] - Llama3 70B训练15T token在64个H100上需440个家庭年能耗 2048个H100时需472个家庭[22]

**行业与公司** * 行业涉及人工智能训练芯片与加速器 聚焦NVIDIA的H100和GB200 NVL72系统在大型语言模型训练中的性能对比[1][3][4] * 公司包括NVIDIA及其云服务合作伙伴（CSPs）和新兴云提供商（Neoclouds） 同时提及Meta（LlaMa）、DeepSeek等模型开发公司[6][7][15] **核心观点与论据** * H100与GB200 NVL72的总拥有成本（TCO）对比显示 GB200的每GPU全包资本成本是H100的1.4倍至1.7倍[15] 其TCO约为H100的1.5倍 因此GB200需至少提供1.5倍性能提升才能具备TCO优势[19] * GB200 NVL72的可靠性问题突出 背板信号完整性故障导致调试耗时 更换计算托盘需1-2小时 更换交换托盘需1-2小时且需整机架停机 更换背板需8-12小时[87][89][90] * 软件优化对训练效率提升显著 H100训练GPT-175B的MFU（模型浮点运算利用率）从2023年1月的34%提升至2023年12月的53% 12个月内吞吐量提升57%[31] FP8训练成本从每百万token 72美分降至5.2美分[34] * GB200 NVL72性能随时间改善 2025年5月训练DeepSeek 70B时token吞吐量仅比H100高10% 但到2025年7月提升至2.5倍 预计2025年12月将达到3.7倍[59][60][64] * 能效方面 GB200因芯片功耗1200W（H100为700W）且采用直接芯片液冷（DLC） 2025年7月时训练能效比H100高2.2倍 预计2025年12月将达4倍[18][68] * 大规模训练能耗巨大 训练LlaMa 405B（15T token）需消耗相当于72,000美国家庭年用电量的能源[48] 训练GPT-175B（300B token）的FP8版本需消耗1个家庭年用电量 BF16版本需28个家庭年用电量[35] **其他重要内容** * 专家混合模型（MoE）如DeepSeek 70B的通信开销较大 其H100 MFU仅19% 低于稠密模型（如LlaMa 405B的55%）[66] * NVIDIA的基准测试主要基于NeMo-MegatronLM 但许多用户偏好原生PyTorch框架 建议NVIDIA将更多工程师资源投入PyTorch核心开发而非NeMo功能扩展[25] * GB200 NVL72机架设计包含72个GPU 其中64个用于训练 8个作为热备件（运行抢占式工作负载或待命） 但整机架维护仍需额外备用机架[74][100] * 当前GB200 NVL72仅用于推理和小规模实验 尚未有超大规模训练运行 因软件成熟度和可靠性问题未完全解决[7][97] **数据与单位换算** * H100服务器价格降至约$150,000 全包资本成本为$250,000（含存储、网络）[14] GB200 NVL72机架服务器成本$1.1M 全包成本$1.5M[15] * 训练LlaMa 405B（15T token）成本为$1.85/百万token 总成本$27.75M[45] DeepSeek 70B（1.8T token）训练成本在2025年7月为$3.5M 预计2025年12月降至$2.5M[64] * 美国家庭年平均用电量为10,715 kWh 相当于38,574,000,000焦耳（1 kWh = 3,600,000 J）[35]