人工智能推理

搜索文档
不止芯片!英伟达,重磅发布!现场人山人海,黄仁勋最新发声
21世纪经济报道· 2025-03-19 11:45
文章核心观点 英伟达GTC2025大会围绕AI推理时代展开,发布了涵盖计算架构、企业AI应用、数据中心、机器人和自动驾驶等领域的技术,构建完整AI生态体系,有望推动企业和个人生产力变革,虽发布会后股价下跌,但大会或提振AI市场部分正面情绪 [28][30] 分组1:大会概况 - 当地时间3月18日,英伟达创始人兼CEO黄仁勋在英伟达GTC2025大会发表演讲,称其为“AI界的超级碗”,今年关键词是“推理”和“token”,AI叙事重心从训练转向推理 [1] - Forrester副总裁兼首席分析师戴鲲认为大会有三个方向值得关注,分别是面向后训练和推理的加速计算、面向企业级智能代理开发的Agentic AI、AI在物理世界中的应用 [3] 分组2:芯片家族 - 英伟达发布Blackwell Ultra系列芯片及下一代GPU架构Rubin,Vera Rubin NLV144计划于2026年下半年上线,Rubin Ultra NVL576将于2027年下半年面世 [5] - Grace Blackwell已全面投入生产,新平台强化推理能力,Blackwell Ultra在训练和测试时间缩放推理方面实现突破,被称为“AI工厂平台” [6] - Blackwell Ultra(GB300)包含GB300 NVL72机架级解决方案和HGX B300 NVL16系统,GB300 NVL72 AI性能提升1.5倍,使AI工厂收益机会相比Hopper平台提高50倍;HGX B300 NVL16推理速度提高11倍、计算能力提升7倍、内存容量扩大4倍 [8][9] - 瑞银报告指出,Blackwell系列需求强劲,GB200瓶颈解决,英伟达加快B300/GB300推出,预计第一季度提前量产,2025年第三季度大规模出货 [10] - 基于Blackwell Ultra的产品预计2025年下半年由合作伙伴推出,思科、戴尔等将率先推出相关服务器,预计到2028年数据中心投资超一万亿美元,暗示英伟达有增长空间 [11] 分组3:CPO交换机 - 英伟达推出全新NVIDIA Photonics硅光子技术,通过共封装光学取代传统可插拔光学收发器,可降低40MW功耗,提高AI计算集群网络传输效率 [13] - 推出Spectrum-X与Quantum-X硅光子网络交换机,Spectrum-X以太网平台带宽密度达传统以太网1.6倍,Quantum-X光子Infiniband平台AI计算架构速度较前代提升2倍,可扩展性增强5倍 [14] - 英伟达光子交换机集成光通信创新技术,较传统方式减少75%激光器使用,能效提升3.5倍等;摩根大通报告指出CPO应用于GPU最早可能2027年实现,且面临多项技术挑战,对基板供应商是利好 [15] 分组4:软件升级 - 英伟达关注机器人、自动驾驶等领域,生成式AI改变计算方式,计算机成为token生成器,数据中心演变成AI工厂 [17] - 英伟达新推出AI推理服务软件Dynamo,支持下Blackwell推理性能可达上一代Hopper的40倍,能最大化AI工厂token收益,采用分离式推理架构实现高效AI推理计算 [18][19] - 英伟达推出Llama Nemotron系列推理模型和AI - Q,支持企业和开发者构建AI Agent,提升推理能力,减少开发成本和部署难度 [20] - 英伟达核心护城河CUDA是强大软硬件体系,已拥有各领域AI工具 [21] 分组5:端侧AI和机器人 - 英伟达推出基于NVIDIA Grace Blackwell平台的全新DGX个人AI超级计算机系列,包括DGX Spark和DGX Station,将原本仅限数据中心使用的架构性能引入桌面环境 [23][24] - 英伟达正式发布全球首款开源、可定制的通用人形机器人基础模型Isaac Groot(GROOT N1),采用双系统架构,可适配多种任务,已被多家机器人制造商采用 [25] - 英伟达推出一系列模拟框架和方案,在机器人基础模型和体系化解决方案上再次升级,摩根大通预计其在Physical AI方面会有更多突破 [26] 分组6:市场情绪 - 过去一季度AI领域变化大,英伟达GTC2025大会发布众多技术,但发布会结束后股价下跌3.43% [28] - 摩根大通报告指出整体AI市场情绪偏空,GTC大会有望提振部分正面情绪,改善Blackwell系统供应状况,预计2026年AI数据中心资本支出继续健康增长 [29]
速递|与微软再对弈,OpenAI向CoreWeave注资120亿美元
Z Potentials· 2025-03-11 11:27
OpenAI与CoreWeave的战略合作 - OpenAI与CoreWeave签署五年期协议,价值119亿美元,涉及3.5亿美元股权获取 [1] - CoreWeave为OpenAI提供AI专用云服务,拥有32个数据中心和超25万台NVIDIA GPU [2] - 交易助力CoreWeave缓解IPO前对单一客户(微软)依赖的担忧,微软2024年贡献其62%收入(19亿美元) [2] CoreWeave的财务与业务动态 - CoreWeave 2024年收入达19亿美元,较2023年2.289亿美元增长近8倍 [2] - 公司计划通过IPO筹集40亿美元,部分资金用于偿还79亿美元债务 [6] - 创始团队已套现4.88亿美元股票,每人获利超1.5亿美元 [6] 微软与OpenAI的竞争关系 - OpenAI通过合作CoreWeave减少对微软云服务的依赖,微软原为其唯一云提供商 [5] - 微软开发自有AI推理模型MAI,与OpenAI产品直接竞争,并聘请竞争对手Mustafa Suleyman [5] - 双方在企业客户市场存在竞争,OpenAI拟推出高价AI代理加剧紧张 [4] CoreWeave的行业背景 - 公司由加密货币挖矿转型,现专注AI云服务,获NVIDIA 6%持股支持 [2] - 已部署NVIDIA Blackwell等最新GPU,强化AI推理能力 [2] - 业务扩张与债务高企并存,IPO成败或影响其偿债能力 [6]