Workflow
Nvidia H20
icon
搜索文档
CoreWeave Becomes First Hyperscaler to Deploy NVIDIA GB300 NVL72 Platform
Prnewswire· 2025-07-04 00:14
文章核心观点 CoreWeave作为AI云服务提供商率先为客户部署最新NVIDIA GB300 NVL72系统并计划全球大规模扩展部署,持续在AI基础设施领域保持领先 [1][5] 分组1:GB300 NVL72系统情况 - NVIDIA GB300 NVL72在AI推理和智能体工作负载性能上有重大飞跃,用户响应速度最高提升10倍,每瓦吞吐量提高5倍,推理模型推理输出增加50倍 [2] 分组2:CoreWeave部署情况 - CoreWeave是首个为客户部署NVIDIA GB300 NVL72系统的AI云服务提供商,计划全球大规模扩展部署 [1] - CoreWeave与Dell、Switch和Vertiv合作构建GB300 NVL72系统初始部署,将最新NVIDIA GPU引入其AI云平台 [3] - GB300 NVL72部署与CoreWeave云原生软件栈紧密集成,硬件级数据和集群健康事件通过其收购的Weights & Biases开发者平台集成 [4] 分组3:CoreWeave过往成就 - CoreWeave此前率先提供NVIDIA H200 GPU,是首个让NVIDIA GB200 NVL72系统广泛可用的AI云服务提供商,此次GB300 NVL72初始部署扩展了其现有Blackwell机队 [5] - 2025年6月CoreWeave与NVIDIA和IBM合作,使用近2500个NVIDIA GB200 Grace Blackwell超级芯片提交最大规模MLPerf® Training v5.0基准测试,在最复杂模型Llama 3.1 405B上27.3分钟取得突破结果 [6] - CoreWeave是唯一获SemiAnalysis的GPU Cloud ClusterMAX™评级系统最高白金评级的超大规模云服务提供商 [6] 分组4:CoreWeave公司介绍 - CoreWeave是AI超大规模云服务提供商,提供前沿软件驱动的云平台,为企业和领先AI实验室提供加速计算云解决方案,自2017年在美欧运营数据中心,2024年入选TIME100最具影响力公司和福布斯云100榜单 [7]
CRWV vs. MSFT: Which AI Infrastructure Stock is the Better Bet?
ZACKS· 2025-06-24 21:50
核心观点 - CoreWeave和微软均提供AI云基础设施服务 但CoreWeave专注于GPU加速的AI基础设施 而微软通过Azure平台提供更全面的AI服务 [2] - 投资者需比较两家公司在AI基础设施领域的优劣势以做出投资决策 [3] - CoreWeave展现出爆发式收入增长 但客户集中度高 微软则拥有更稳定的云业务和长期资产布局 [5][8][10] CoreWeave(CRWV)分析 - 与NVIDIA深度合作 率先部署H100/H200/GH200等GPU集群 目前拥有33个数据中心和420兆瓦电力支持 [4] - 上季度收入9.816亿美元 同比增长420% 超出预期15.2% 收购Weights and Biases新增1400家客户 [5] - 当前订单积压达259亿美元 包括与OpenAI的119亿美元合作及40亿美元的大客户扩展协议 [6] - 预计2025年资本支出将达200-230亿美元 本季度利息费用预计2.6-3亿美元 [7] - 2024年77%收入来自前两大客户 存在重大客户集中风险 [8] 微软(MSFT)分析 - Azure平台覆盖全球60多个区域 正在开发自研AI芯片Azure Maia和Cobalt [9][10] - 上季度资本支出214亿美元 其中167亿美元用于不动产和设备 315亿美元云服务订单积压 [10] - 与OpenAI独家合作 所有工作负载托管在Azure 并优先获得GPT-4 Turbo等先进模型 [12] - 推出NLWeb项目 将网站转化为AI应用 以开源方式推动Azure平台采用 [13] - 预计第四季度智能云收入287.5-290.5亿美元 Azure收入增长34-35% [14] 市场表现 - 过去一个月CoreWeave股价飙升69% 微软上涨8% [17] - 当前Zacks评级显示微软为"持有" CoreWeave为"卖出" [18]
China's racing to build its AI ecosystem as U.S. tech curbs bite. Here's how its supply chain stacks up
CNBC· 2025-06-12 11:55
中美半导体竞争格局 - 美国限制中国获取先进AI芯片及关键技术 导致中国转向华为等本土替代方案 [1][2] - 中国已投入数百亿美元试图突破半导体产业链瓶颈 但在AI芯片生态构建上仍有差距 [3][4] - 美国出口管制既刺激中国发展替代方案 又增加了本土企业研发难度 [3] AI芯片设计领域 - 英伟达凭借GPU设计主导全球AI芯片市场 其受限版本H20仍领先中国本土产品 [5][6][7] - 华为海思Ascend 910B GPU量产中 下一代910C预计落后英伟达仅1年 性能差距缩小至不足一代 [9][10] - 中国涌现燧原科技、壁仞科技等初创企业 试图填补英伟达留下的市场需求 [8] AI芯片制造环节 - 台积电为英伟达主要代工厂 受美国禁令限制无法为华为等黑名单企业代工 [11] - 中芯国际可量产7纳米芯片 疑似突破5纳米工艺 但量产先进GPU仍面临良率与成本挑战 [12][13] - 华为自建晶圆厂计划推进中 但关键设备短缺制约发展 [14] 先进芯片设备瓶颈 - 荷兰ASML被禁向中国出售EUV光刻机 该设备对3纳米以下制程至关重要 [15][16] - 中芯国际采用DUV光刻机生产7纳米芯片 但良率低下且技术接近极限 [17] - 中国SiCarrier等企业研发替代光刻技术 但完全自主需数十年或转向创新路径 [18] AI内存组件现状 - HBM内存成为AI训练关键部件 韩国SK海力士、三星主导市场 美国限制其向中国出口 [19][20] - 中国长鑫存储与通富微电合作开发HBM 预计落后国际龙头3-4年 [21][22] - 华为Ascend 910C仍依赖三星HBM库存 显示中国在关键部件对外依存度高 [24]
Nvidia-backed stock crashes after Wall Street's extreme bearish report
Finbold· 2025-06-10 22:16
CoreWeave (NASDAQ: CRWV) shares plunged Tuesday after a critical analyst note from D.A. Davidson raised concerns about the cloud computing company’s financial fundamentals and outlook.As of press time, CoreWeave’s stock was trading at $150.49, down 7% on the day. The selloff is particularly notable given that shares had rallied approximately 160% over the past month.CRWV one-day stock price chart. Source: Google Finance That impressive run-up has been fueled mainly by ongoing enthusiasm around artificial in ...
英伟达,遥遥领先
半导体芯闻· 2025-06-05 18:04
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容 编译自 ieee 。 对于那些喜欢支持弱者的人来说,最新的MLPerf基准测试结果可能会令人失望:Nvidia 的GPU仍 然占据主导地位再次。这包括在最新、最苛刻的基准测试中,对Llama 3.1 403B 大型语言模型进 行预训练时,所展现出的顶级性能。即便如此,基于最新AMD GPU MI325X 构建的计算机在最 流行的 LLM 微调基准测试中,其性能与Blackwell 的前代产品 Nvidia H200 相当。这表明 AMD 落后了Nvidia一代。 MLPerf训练是MLCommons联盟举办的机器学习竞赛之一。"AI 性能有时就像狂野西部。MLPerf 致力于打破这种混乱," Nvidia 加速计算产品总监Dave Salvator表示。"这并非易事。" 本次比赛包含六个基准测试,每个基准测试分别针对一个与行业相关的机器学习任务。这些基准测 试包括内容推荐、大型语言模型预训练、大型语言模型微调、机器视觉应用的目标检测、图像生成 以及用于欺诈检测和药物研发 等应用的图节点分类。 大型语言模型预训练任务是最耗费资源的,而本轮更新后更是资源密集。 ...
黄仁勋首次公开承认:华为芯片性能已达H200水平!
是说芯语· 2025-06-01 13:58
核心观点 - 黄仁勋首次公开承认华为AI芯片性能与NVIDIA H200相当,标志着华为从技术跟随者转变为直接竞争对手[1][7] - 华为通过CloudMatrix 384集群系统实现技术突破,其全互连拓扑设计提供300PFLOPs BF16算力,达到NVIDIA GB200 NVL72系统的两倍[10][11] - 行业竞争格局发生本质变化,从单芯片性能比拼转向系统级能力竞争,华为的垂直整合模式对NVIDIA生态构成挑战[16][21][26] 技术对比 - 昇腾910B集群调度能力弥补单芯片制程差距,整体系统表现接近H200[16] - CloudMatrix采用光电互连技术替代NVLink桥接,降低通信延迟并提升分布式计算效率[10] - 华为CANN架构与MindSpore框架形成闭环训练平台,软件迁移难度低于行业平均水平[21] 产业影响 - 华为技术路线与NVIDIA分叉:前者聚焦中国本地训练需求,后者服务北美数据中心生态[12][25] - 全球AI算力市场可能出现结构性分裂,华为模式推动国产替代形成独立技术体系[26][27] - 大模型训练向10万亿参数规模发展,芯片间通信效率成为竞争关键点[18] 发展历程 - 昇腾910B大规模应用时间(2023年底)比H100发布(2022年下半年)晚约1年,但H200时代已实现技术代际追赶[5][6] - 华为通过持续投入硬件通信、液冷散热等技术积累系统工程能力[30][31] - NVIDIA传统优势在于CUDA生态粘性,但华为垂直整合方案正在突破这一壁垒[20][22] 未来趋势 - AI算力竞争进入新阶段,重点转向更大模型支持、更低功耗和更稳定集群[33][34] - 行业面临技术路线分化风险,可能形成两套并行的算力标准体系[24][26] - 系统工程能力将成为决定市场份额的关键因素,超越单芯片性能指标[31][34]
SemiAnalysis:AMD vs NVIDIA 推理基准测试:谁赢了?--性能与每百万令牌成本分析
2025-05-25 22:09
纪要涉及的行业和公司 - **行业**:数据中心AI GPU行业 - **公司**:AMD、NVIDIA 纪要提到的核心观点和论据 性能表现 - **不同工作负载下性能差异**:对于直接拥有并运营GPU的超大规模企业和公司,某些工作负载下英伟达每美元性能更优,其他工作负载中AMD更佳;使用短期至中期租赁服务的客户,通过Neocouds平台租用显卡时,英伟达始终在每美元性能上胜出,原因是缺乏提供AMD M00X、M25X的Neocouds服务商,导致其租赁市场价格居高不下,而英伟达有数百个Neocouds提供相关显卡,租赁市场竞争激烈[6][7]。 - **各型号GPU性能对比** - **M00X**:在大多数测试场景中无法与H200竞争,但对于Lama 05B和DeepSeekv 70B,在绝对性能和每美元性能上击败H100[12]。 - **M25X**:本应是H200的竞争对手,但因发货延迟,多数客户选择B200;在部分场景如高并发下的Llama 70B和Llama 05B测试中有优势,但整体性能受发货时间影响[8][13][74][86]。 - **B200**:软件支持仍未完善,但对于当前可部署的负载和模型占据绝对优势,M25和H200性能远不及它[13]。 - **H200**:解决了H100容量短板,在多数测试中表现出色,采用TensorRT - LLM的H200性能优势明显[22][76][88]。 市场份额 - AMD在数据中心AI GPU市场份额自202年第一季度起持续增长,但2025年第一季度因英伟达推出Backwe架构产品,而AMD对标方案要到2025年第三季度面世,市场份额相应下滑,预计2025年第二季度继续下降,不过随着M55X推出和软件改进,有望在年底或明年初重新夺回部分份额[26][27]。 基准测试方法论 - **强调在线吞吐量与延迟关系**:为接近现实推理工作负载,强调分析特定配置下在线吞吐量与每位用户端到端延迟的关系,而非传统离线基准测试,通过增加并发用户数测量延迟上升,得出反映实际运营和用户体验的吞吐量指标[30][31]。 - **模型选择**:针对现实世界生产负载的密集架构和稀疏混合专家(MoE)架构模型进行测试,分别选择Lama 70B、Lama 05B和DeepSeekV 70B作为代表[45][46][47]。 - **输入/输出令牌长度**:测试三种不同输入输出令牌长度组合,分别代表摘要、翻译或对话、推理密集型任务,以全面了解模型和硬件在不同推理工作负载下的性能[49][50][51][52]。 - **推理引擎**:针对不同模型选择不同推理引擎,如Lama 70B和05B选vLLM,H200平台额外评估TensorRT - LLM;DeepSeek 70B选SGLang[54][55][59][60]。 - **并行策略**:系统性评估每种GPU架构和测试场景下所有可行的张量并行(TP)配置,测量吞吐量和延迟确定最优并行策略[61][62]。 成本分析 - **总拥有成本(TCO)**:AMD的M00X和M25X GPU通常每小时总成本低于NVDA的H100和H200 GPU,但在不同延迟和模型测试场景下,性价比表现不同[110][111]。 - **租赁成本**:在GPU租赁市场,AMD因供应有限、市场竞争不足,租赁价格被抬高,整体成本竞争力削弱,英伟达始终在每美元性能上优于AMD;为使AMD GPU在租赁市场与英伟达竞争,M00X和M25X在不同工作负载下需达到特定租赁价格[158][159][160][167][170][171]。 其他重要但可能被忽略的内容 - **生产延迟问题**:AMD的M25X发货延迟,英伟达的GB200 NVL72也因集成NVLink背板挑战和缺乏调试工具遭遇严重延误[24][25]。 - **软件支持问题**:B200和GB200软件支持不完善,如FP8 DeepSeek V在相关推理框架上无法正常运行;AMD的M55X因量产机型未上市、存在未修复缺陷未进行测试[13][172][174]。 - **基准测试阻碍**:服务框架调优参数标志多、文档不足,代码更新快,无法跨机器并行实验,AMD维护独立代码库分支和配置等问题导致基准测试耗时且困难[182][184][185][186]。 - **持续集成测试问题**:AMD的SGLang持续集成(C)测试覆盖率远不及NVDA,有数十项单元测试缺失,影响软件质量和开发者体验[188][189]。 - **模型准确性问题**:AMD在夜间准确性测试方面此前为零,25%的测试模型在AMD平台上准确性测试失败,同一模型在ROCm上运行答案不如在NVDA上智能[194][195]。
MiTAC Computing Launches the Latest Scale-out AI Server G4527G6 by NVIDIA MGX at COMPUTEX 2025
Prnewswire· 2025-05-19 14:00
产品发布 - 公司在COMPUTEX 2025展会上展示最新AI服务器平台MiTAC G4527G6,该平台专为NVIDIA MGX架构优化,支持NVIDIA RTX PRO 6000 Blackwell Server Edition GPU和NVIDIA H200 NVL平台 [1] - MiTAC G4527G6基于Intel® Xeon® 6处理器,支持8块NVIDIA GPU、8TB DDR5-6400内存、16个热插拔E1.s驱动器以及NVIDIA BlueField-3 DPU [2] - 服务器集成4个NVIDIA ConnectX-8 SuperNIC,提供高达800Gb/s的InfiniBand和以太网连接性能 [2] 技术性能 - NVIDIA ConnectX-8 SuperNIC具备先进拥塞控制和NVIDIA SHARP网络计算功能,优化AI训练和推理吞吐量 [3] - MiTAC G4527G6采用NVIDIA RTX PRO 6000 Blackwell GPU,相比前代产品LLM推理速度提升1.8倍,HPC性能提高1.3倍 [5] - 服务器支持超过100种定制配置,适用于企业AI工厂的模块化部署需求 [4] 行业应用 - 产品针对生成式AI和高性能计算负载设计,适用于AI工厂和云数据中心环境 [2][4] - 平台支持企业级AI应用场景,包括自主决策、物理AI工作流和实时数据分析 [5] - 公司提供从研发到全球支持的全链条服务,整合Intel DSG和TYAN服务器技术以增强AI及液冷方案 [7] 公司背景 - 公司为神达控股子公司,专注AI、HPC及边缘计算领域,提供能效优化的服务器解决方案 [6] - 公司在系统级和机架级集成方面具有行业领先的质量控制能力 [6] - 全球业务覆盖超大规模数据中心市场,强调创新性与可靠性 [7]
Nvidia Stock Investors Just Got Good News From the Trump Administration
The Motley Fool· 2025-05-17 16:26
Semiconductor company Nvidia (NVDA 0.28%) has been a shining star of the artificial intelligence (AI) boom. The stock has advanced more than 800% since January 2023, and the Trump administration's recent decision not to enforce the so-called Framework for AI Diffusion could lead to more share price appreciation. The Commerce Department rescinded the Framework for AI DiffusionThe Commerce Department during the final days of the Biden administration announced the Framework for Artificial Intelligence (AI) Dif ...
拥有20万GPU的集群建好了,只用了122天
半导体行业观察· 2025-05-09 09:13
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:本文 编译自 tomshardware ,谢谢。 埃隆·马斯克的 xAI 孟菲斯超级集群一期项目刚刚达到满负荷运营,现场变电站已投入运营并连接 到主电网。据大孟菲斯商会称,该站点将从孟菲斯电力、燃气和水务局 (MLGW) 和田纳西河谷管 理局 (TVA) 获得 150 兆瓦的电力。除此之外,xAI Colossus 超级计算机还拥有另外 150 兆瓦的 Megapack 电池作为备用电源,使其能够在断电或用电需求增加时持续供电。 马 斯 克于去 年 7 月 首 次 启 动 他的 AI 集 群 , 该 集 群 在 单 一 架 构 上 搭 载 了 10 万 块 Nvidia H100 GPU。这台 xAI 超级计算机的搭建速度非常快,公司只用了 19 天就将其投入运行——而 Nvidia 首席执行官黄仁勋表示,这通常需要四年时间。然而,如此快的速度意味着它不得不走一些捷径, 比如在没有电网供电的情况下启动,因此该站点使用了大量天然气涡轮发电机来满足其电力需求。 初步报告称,该站点内停放了 14 台发电机,每台输出功率为 2.5 兆瓦,但一些居民最近抱怨说, 附近发现 ...