华为CloudMatrix384
搜索文档
中信证券:看好超节点服务器整机环节 建议关注产业链相关公司
智通财经网· 2025-12-19 08:55
智通财经APP获悉,中信证券发布研报称,预计超节点方案有望快速上量,作为未来底层AI基础设施的 基本计算单元,超节点scale up域具备高效通信带宽、原生内存语义等优势,天然适配当前主流的MoE 架构模型的计算。超节点在系统层面的"反解耦"使得整体系统价值得以提升,本身设计也面临更多挑 战,多芯片功耗、散热、机柜可靠性等诸多挑战亟待解决,同时也要考虑到系统运行中所面临的困难, 中信证券认为超节点有望通过更高的技术附加带来整机环节价值量的提升。中信证券看好超节点服务器 整机环节的未来发展,建议关注产业链相关公司。 中信证券主要观点如下: MoE架构模型对硬件提出新要求,Scale up超节点应运而生。 在Scaling law的发展背景下,主流AI大模型为追求更大参数规模与更高运行效率,普遍采用MoE(混合 专家)架构。得益于专家网络的独特结构,其天然适配专家并行的计算模式——这种方式虽能有效优化 计算与访存瓶颈,却随之引入了新的通信难题,基于Scale up网络的超节点由此应运而生。相较于传统 八卡服务器,超节点面临更为复杂的系统性挑战:一是海量芯片协同工作带来的系统散热压力;二是多 芯片间光、铜混合互连方 ...
华为CloudMatrix384超节点:官方撰文深度解读
半导体行业观察· 2025-06-18 09:26
华为CloudMatrix384超节点发布 - 华为在2025华为云生态大会上推出CloudMatrix 384超节点,面向AI时代海量算力需求,基于"一切可池化、一切皆对等、一切可组合"的新型高速互联总线设计 [1] - 该架构实现从服务器级到矩阵级的资源供给模式转变,具备"高密、高速、高效"特点,在算力、互联带宽、内存带宽等方面全面领先 [2] - 架构突破传统分层设计,通过统一总线(UB)实现全节点直接通信,支持计算、内存和网络资源动态池化与独立扩展 [3] 架构核心特性 - 集成384个昇腾910C NPU和192个鲲鹏CPU,通过UB网络实现点对点全互联,节点间带宽衰减<3%,延迟增加<1µs [10] - 提供四项基础功能:1)支持TP/EP的可扩展通信 2)灵活的异构工作负载资源组合 3)统一的融合工作负载基础架构 4)通过分解式内存池实现内存级存储 [7][8] - 包含三个网络平面:UB平面(392GB/s单向带宽)、RDMA平面(400Gbps)、VPC平面(400Gbps),分别处理纵向扩展、横向扩展和外部连接 [12][14][16] 硬件配置细节 - 昇腾910C NPU采用双芯片封装,每封装提供752 TFLOPS BF16/FP16算力,128GB封装内内存,3.2TB/s内存带宽 [17][18] - 每个计算节点集成8个NPU+4个CPU+7个UB交换芯片,节点内UB带宽达392GB/s,RDMA带宽总计3.2Tbps [22] - 超级节点横跨16个机架(12计算+4通信),采用无阻塞双层UB交换拓扑,L2交换机分为7个子平面保持全系统无阻塞 [24][26] 软件生态系统 - CANN软件栈包含驱动层、运行时层和库层,实现与PyTorch/TensorFlow/MindSpore等框架的无缝集成,功能对标NVIDIA CUDA [27][28][30][33] - 云基础设施软件包括MatrixResource(资源管理)、MatrixLink(网络服务)、MatrixCompute(生命周期协调)和MatrixContainer(Kubernetes容器服务) [35][37] - ModelArts提供端到端AI平台服务,包含Lite(裸机访问)、Standard(完整MLOps)和Studio(MaaS)三个层级 [37] 性能表现与未来方向 - 在DeepSeek-R1模型测试中实现预填充6,688 tokens/NPU/秒和解码1,943 tokens/NPU/秒的吞吐量,延迟<50ms [57] - 未来演进方向包括:1)统一VPC和RDMA平面 2)扩展超级节点规模 3)实现CPU物理分解与池化 4)推进组件级微服务架构 [41][43][48][50] - 研究表明384 NPU配置可实现94%分配率,比224 NPU配置提升3个百分点,交换机利用率达100%且单位成本不变 [44][45]
英伟达特供中国的B20/B40 spec分析
傅里叶的猫· 2025-06-14 21:11
英伟达中国市场战略调整 - 英伟达首席执行官黄仁勋表示未来预测将不包括中国市场 但中国仍是重要市场 公司正努力放大华为作为竞争威胁的形象[3] - 华为CloudMatrix384在中国市场推广困难 虽有公司表示兴趣但尚未有实质性订单[3] - 英伟达针对中国市场的新款芯片基于GB202 GPU 与RTX 6000和RTX 5090相同架构 预计最早7月上市[3] 新产品规划与技术细节 - 基于GB202芯片将推出B20和B40/B30两种型号 可能命名为RTX 6000变体以规避监管[4] - B20使用ConnectX-8实现互连 最大带宽800Gbps 适合8-16卡小规模集群 主要面向推理任务[6] - B40/B30支持NVLink互连 带宽900Gbps 采用OAM形态 可支持四卡单机配置和高密度集群[7] - 内存规格预计包括24GB/36GB/48GB三种 48GB配置可能性最大 使用GDDR7模块[8] 市场需求与定价 - 新款芯片定价6500-8000美元 远低于H20的1万-1.2万美元 B40性能约为H20的85%[9] - 完整服务器配置售价8万-10万美元 以太网连接系统8万美元 OAM NVLink配置10万美元[9] - 腾讯青睐B20因其推理任务繁重 字节跳动关注B40/B30 阿里巴巴显示强烈总体需求但未明确偏好[10][11] 行业现状与未来展望 - 主要中国客户尚未收到测试卡 评估过程通常需要一个月 之后才会下达大量订单[12] - 英伟达无法完全放弃中国市场 华为等中国竞争对手在研发方面持续进步[12]