Workflow
Hopper GPU
icon
搜索文档
过去四周,AI推理爆了,GPU在燃烧,英伟达依旧供不应求
硬AI· 2025-04-29 08:18
行业需求与市场动态 - 大型语言模型对推理芯片的需求激增,导致英伟达GPU供不应求,需求遍及所有地区 [3][4] - token生成量自年初以来增长5倍以上,给生态系统带来巨大压力,推动对处理工作负载的投资激增 [4] - AI公司用户数量呈爆炸式增长,例如Open Router等API公司数据显示,GPU资源争夺激烈,甚至出现"最后一块GB200"在2025年仅剩一块的状况 [4] 英伟达的供应与业绩 - 英伟达Blackwell芯片(尤其是GB200/300型号)供应受限,短期内无法满足爆炸式需求 [6] - Hopper GPU需求虽改善,但云客户5-6年折旧周期可能导致投资回报率不理想 [6] - 美元上行、供应紧张和出口限制叠加,引发市场对英伟达短期盈利的担忧 [6] 摩根士丹利的观点与调整 - 摩根士丹利将英伟达目标价从162美元轻微下调至160美元,主要反映同行组整体估值下降,而非公司基本面变化 [3][6] - 下调目标价体现对英伟达短期业绩的谨慎态度,但长期增长潜力依然强劲 [3][8] - 截至发稿,英伟达股价为111美元,较大摩目标价高45%左右 [6] 推理需求的关键性 - 摩根士丹利认为推理需求是关键,由使用模型并产生收入的部分驱动,证明推理模型的扩展是真实存在的 [4] - 推理需求与仅依赖风险投资的训练需求有本质区别 [4]
过去四周,AI推理爆了,GPU在燃烧,英伟达依旧供不应求
华尔街见闻· 2025-04-27 18:38
投资者情绪与需求变化 - 过去四周投资者情绪因宏观经济和供应链风险恶化 但英伟达GPU核心需求因大型语言模型对推理芯片需求飙升且遍及所有地区 [1] - token生成量自年初以来增长5倍以上 给生态系统带来巨大压力并推动处理工作负载的投资激增 [1] - 多家AI公司报告用户数量爆炸式增长 例如Open Router等API公司因推理软件需求被迫争抢GPU资源 [1] 英伟达芯片供需状况 - 英伟达Blackwell芯片供应受限 尤其是GB200/300型号无法满足爆炸式需求 [2] - Hopper GPU需求有所改善 但云客户5-6年折旧周期导致投资回报率不理想 [2] - 美元上行、供应紧张和出口限制叠加 引发市场对英伟达短期盈利担忧 [2] 摩根士丹利对英伟达的评估 - 摩根士丹利将英伟达目标价从162美元下调至160美元 主要反映同行组整体估值下降而非公司基本面变化 [2] - 截止发稿英伟达股价为111美元 较大摩目标价高45%左右 [2] - 摩根士丹利认为供应限制和毛利率压力影响市场情绪 但对长期增长潜力保持信心 [4] 财务预测调整 - 摩根士丹利将2026财年收入预测上调10.7% 每股收益上调11.9% 并认为这些数字可能仍非常保守 [5]
全球首个!“英伟达亲儿子”CoreWeave大规模上线GB200服务器
硬AI· 2025-04-16 17:52
性能提升与行业记录 - 英伟达GB200 NVL72服务器相比前代Hopper GPU在1000亿参数模型训练中实现高达3倍性能提升 [3][8] - GB200 NVL72系统在MLPerf v5.0测试中刷新行业记录 提供前代H100芯片2-3倍性能提升 [3][7][8] - 通过优化大统一内存 FP4精度和72个GPU的NVLink域 Cohere获得显著更高吞吐量并缩短令牌生成时间 [8] 核心合作伙伴与部署进展 - CoreWeave成为首批大规模部署英伟达GB200 NVL72系统的云服务提供商 Cohere IBM和Mistral AI成为首批用户 [3][4] - CoreWeave与OpenAI合作 进一步巩固其作为AI基础设施提供商的领先地位 [5] - 英伟达承诺四年内向CoreWeave支付13亿美元租回自产芯片 双方构建紧密合作关系 [4] 技术优势与市场定位 - GB200 Grace Blackwell超级芯片在AI推理测试中创下新纪录 未优化架构即实现性能突破 [7][8] - CoreWeave强调工程实力和执行速度 多次成为首批运营最先进系统的公司 [4] - 在AI算力紧缺背景下 能提供最先进芯片组的云服务商占据市场竞争优势 [5]
【招商电子】英伟达GTC 2025跟踪报告:2028年全球万亿美金Capex可期,关注CPO、正交背板等新技术趋势
招商电子· 2025-03-20 10:51
数据中心与AI基础设施 - 预计2028年数据中心资本开支将达1万亿美元,主要用于加速计算芯片[1][2] - 2024年向四大云服务商交付130万颗Hopper GPU,2025年计划出货360万颗Blackwell GPU[2] - AI基础设施计算量较去年预计增长100倍,Tokens数量大幅增加[2][9][10] - 数据中心正在向"人工智能工厂"转型,专注于AI驱动的处理和应用[13] Blackwell平台与未来产品 - Blackwell已全面投产,NVL72结合Dynamo推理性能提升40倍[3] - 计划25H2发布Blackwell Ultra,算力提升50%,FP8精度算力达0.36EF[3] - 预计26H2推出Vera Rubin NVL144,推理能力达每秒50千万亿次浮点运算[3] - 预计27H2推出Rubin Ultra NVL576,FP4精度算力达15EF,性能较GB300提升14倍[3] - 预计2028年推出Feynman平台,迎接千兆瓦AI工厂时代[3] CPO交换机技术 - 预计25H2推出Quantum-X CPO交换机,交换容量115.2Tb/s,能耗降低3.5倍[5] - 预计26H2推出Spectrum-X CPO交换机,包含两种型号,最高背板带宽409.6TB/S[5] - 采用MRM micro mirror技术,可将连续激光束转化为二进制信号[5] - CPO技术可帮助数据中心节省60MW电力,相当于100个Rubin机柜耗电量[5] 自动驾驶与机器人技术 - 推出Halos系统保障汽车安全,已评估700万行代码并申请1000多项专利[25][26] - 借助Omniverse和Cosmos加速自动驾驶开发,实现端到端训练[26] - 推出开源通用基础模型Isaac Groot N1,具有快慢双系统架构[6][61] - 预计到2030年全球将短缺5000万名工人,机器人产业潜力巨大[60] AI技术演进与应用 - AI分为三个层次:生成式AI、智能体AI和物理AI[7] - 推理模型带来100倍Tokens增长,计算速度需提升10倍[9][10][11] - 推出Dynamo操作系统,Blackwell性能是Hopper的40倍[35][38] - CUDA-X行业框架覆盖计算光刻、5G、基因测序等多个领域[14][15] 产品路线图与技术突破 - 每年更新路线图,每两年更新架构,持续推出新产品[53] - 采用液冷技术,单个机架功率达120千瓦,含60万个部件[29][30] - 光子学技术突破,硅光子交换机可扩展到数百万GPU规模[47][48] - 与台积电合作采用3D共封装技术,实现高性能光子集成电路[49]
台积电CoWoS“砍单”疑云?摩根大通:确实砍了但别慌,AI需求依旧坚挺
硬AI· 2025-03-03 22:37
核心观点 - 台积电CoWoS订单削减并非需求萎缩,而是客户过度乐观预期回归理性调整 [2][3] - 2025年CoWoS产能仍将供不应求,英伟达Blackwell芯片出货量有望达600万片 [1][2][7] - AI芯片整体需求趋势好于预期,B200/B300系列及ASIC项目需求强劲 [5][7][8] 订单调整原因 - 英伟达、Marvell、亚马逊等客户下调2025年CoWoS订单预期8-10%,英伟达产能预期下调4-4.5万晶圆 [1][3] - 调整源于客户初期过度预订,台积电要求更准确预测促使修正 [3] - 产品变更(英伟达多款产品)及订单优先级变化(台积电优先CoWoS-L)导致供应链预期调整 [4] 产能供需分析 - 供应链曾激进预期2025年底台积电CoWoS月产能8.5-9万晶圆(全年超80万),摩根大通预期更现实(年底月产能7.5万,全年72.5万) [4] - 即使台积电产能扩张超2倍,2025年仍供不应求 [6] - 英伟达2025年CoWoS-L晶圆需求39万片(实际产出或更低),可生产600万片Blackwell芯片 [7] 需求端表现 - 英伟达B200/B300、H200s/H20需求强劲,亚马逊Trainium 2等ASIC项目进展顺利 [5][8] - 前端晶圆订单(N4/N5)及HBM需求2025年全年保持强劲 [6] - 亚马逊Trainium 2预计2025年需求超150万片,成AI ASIC主要增长点 [8] 长期展望 - 预计2026年英伟达CoWoS晶圆需求增长20%,可生产750万片Blackwell和Rubin芯片 [7]