Workflow
华为CloudMatrix384
icon
搜索文档
华为CloudMatrix384超节点:官方撰文深度解读
半导体行业观察· 2025-06-18 09:26
华为CloudMatrix384超节点发布 - 华为在2025华为云生态大会上推出CloudMatrix 384超节点,面向AI时代海量算力需求,基于"一切可池化、一切皆对等、一切可组合"的新型高速互联总线设计 [1] - 该架构实现从服务器级到矩阵级的资源供给模式转变,具备"高密、高速、高效"特点,在算力、互联带宽、内存带宽等方面全面领先 [2] - 架构突破传统分层设计,通过统一总线(UB)实现全节点直接通信,支持计算、内存和网络资源动态池化与独立扩展 [3] 架构核心特性 - 集成384个昇腾910C NPU和192个鲲鹏CPU,通过UB网络实现点对点全互联,节点间带宽衰减<3%,延迟增加<1µs [10] - 提供四项基础功能:1)支持TP/EP的可扩展通信 2)灵活的异构工作负载资源组合 3)统一的融合工作负载基础架构 4)通过分解式内存池实现内存级存储 [7][8] - 包含三个网络平面:UB平面(392GB/s单向带宽)、RDMA平面(400Gbps)、VPC平面(400Gbps),分别处理纵向扩展、横向扩展和外部连接 [12][14][16] 硬件配置细节 - 昇腾910C NPU采用双芯片封装,每封装提供752 TFLOPS BF16/FP16算力,128GB封装内内存,3.2TB/s内存带宽 [17][18] - 每个计算节点集成8个NPU+4个CPU+7个UB交换芯片,节点内UB带宽达392GB/s,RDMA带宽总计3.2Tbps [22] - 超级节点横跨16个机架(12计算+4通信),采用无阻塞双层UB交换拓扑,L2交换机分为7个子平面保持全系统无阻塞 [24][26] 软件生态系统 - CANN软件栈包含驱动层、运行时层和库层,实现与PyTorch/TensorFlow/MindSpore等框架的无缝集成,功能对标NVIDIA CUDA [27][28][30][33] - 云基础设施软件包括MatrixResource(资源管理)、MatrixLink(网络服务)、MatrixCompute(生命周期协调)和MatrixContainer(Kubernetes容器服务) [35][37] - ModelArts提供端到端AI平台服务,包含Lite(裸机访问)、Standard(完整MLOps)和Studio(MaaS)三个层级 [37] 性能表现与未来方向 - 在DeepSeek-R1模型测试中实现预填充6,688 tokens/NPU/秒和解码1,943 tokens/NPU/秒的吞吐量,延迟<50ms [57] - 未来演进方向包括:1)统一VPC和RDMA平面 2)扩展超级节点规模 3)实现CPU物理分解与池化 4)推进组件级微服务架构 [41][43][48][50] - 研究表明384 NPU配置可实现94%分配率,比224 NPU配置提升3个百分点,交换机利用率达100%且单位成本不变 [44][45]
英伟达特供中国的B20/B40 spec分析
傅里叶的猫· 2025-06-14 21:11
英伟达中国市场战略调整 - 英伟达首席执行官黄仁勋表示未来预测将不包括中国市场 但中国仍是重要市场 公司正努力放大华为作为竞争威胁的形象[3] - 华为CloudMatrix384在中国市场推广困难 虽有公司表示兴趣但尚未有实质性订单[3] - 英伟达针对中国市场的新款芯片基于GB202 GPU 与RTX 6000和RTX 5090相同架构 预计最早7月上市[3] 新产品规划与技术细节 - 基于GB202芯片将推出B20和B40/B30两种型号 可能命名为RTX 6000变体以规避监管[4] - B20使用ConnectX-8实现互连 最大带宽800Gbps 适合8-16卡小规模集群 主要面向推理任务[6] - B40/B30支持NVLink互连 带宽900Gbps 采用OAM形态 可支持四卡单机配置和高密度集群[7] - 内存规格预计包括24GB/36GB/48GB三种 48GB配置可能性最大 使用GDDR7模块[8] 市场需求与定价 - 新款芯片定价6500-8000美元 远低于H20的1万-1.2万美元 B40性能约为H20的85%[9] - 完整服务器配置售价8万-10万美元 以太网连接系统8万美元 OAM NVLink配置10万美元[9] - 腾讯青睐B20因其推理任务繁重 字节跳动关注B40/B30 阿里巴巴显示强烈总体需求但未明确偏好[10][11] 行业现状与未来展望 - 主要中国客户尚未收到测试卡 评估过程通常需要一个月 之后才会下达大量订单[12] - 英伟达无法完全放弃中国市场 华为等中国竞争对手在研发方面持续进步[12]