Workflow
Scale Up
icon
搜索文档
让64张卡像一张卡!浪潮信息发布新一代AI超节点,支持四大国产开源模型同时运行
量子位· 2025-08-11 15:48
国产开源模型发展 - 国产开源模型如DeepSeek R1、Kimi K2等在Hugging Face热度榜及关键指标(推理能力、长文本处理、多模态理解)上表现突出 [1] - 主流开源模型参数量突破万亿级别,显存需求达数TB量级 [1] - Agentic AI范式推动多模型协同与复杂推理链,计算与通信需求爆炸式增长 [2] 元脑SD200技术突破 - 浪潮信息发布超节点AI服务器元脑SD200,支持单机运行四大国产开源模型及超万亿参数推理 [3][5] - 64卡整机实现超线性扩展(DeepSeek R1推理性能提升3.7倍,Kimi K2提升1.7倍) [6][11] - 采用3D Mesh开放架构,通过Open Fabric Switch实现64卡统一编址,显存达4TB,内存64TB [7][8] - 百纳秒级低延迟通信,支持原生内存语义对齐,优于业界主流方案 [8] - 内置Smart Fabric Manager优化全局路由,PD分离框架提升推理效率 [9] Agentic AI对基础设施的挑战 - 智能体AI需多模型协同(如代码生成、逻辑推理、知识检索模型),交互频次与计算量激增 [14][15] - 万亿参数模型跨机通信延迟问题突出,传统InfiniBand网络难以应对高频小数据包场景 [15][16] - 元脑SD200通过统一计算域与8倍地址空间扩增,解决显存容量与延迟问题 [19] 超节点设计理念 - Scale Up路径选择:硅基芯片性能提升受限,Scale Out架构高延迟问题显著 [20][21] - 元脑SD200在有限物理空间内聚合64路GPU,平衡物理定律与工程实践 [22][24] - 系统化设计整合现有技术,最大化用户价值 [22] 开放生态战略 - 基于OCM(开放算力模组)与OAM(开放加速模块)架构,支持Intel、AMD、ARM等多平台及异构加速器协同 [25][27][29] - 兼容PyTorch、vllm等主流框架,降低用户迁移成本 [11][32] - 推动"智能平权",通过开放架构降低企业使用门槛,共享AI技术红利 [33][34][35]