浪潮信息“元脑SD200”超节点实现单机内运行超万亿参数大模型
产品发布 - 公司发布面向万亿参数大模型的超节点AI服务器"元脑SD200",基于多主机低延迟内存语义通信架构,支持64路本土GPU芯片[2] - "元脑SD200"可实现单机内运行超万亿参数大模型,支持多个领先大模型机内同时运行及多智能体实时协作与按需调用,已实现商用[2] - 超节点通过GPU互联技术将多台服务器、多张算力芯片卡整合为规模更大、算力更强的整体算力单元,突破传统算力部署边界[2] 技术特点 - 超节点通过优化节点内互联技术、液冷散热等手段提升集群整体能效、通信带宽与空间利用效率[2] - 产品基于开放总线交换技术构建,解决万亿大模型对超大显存空间和超低通信延时的核心需求[3] - 通过智能总线管理和开放的预填充—解码(PD)分离推理框架实现软硬件深度协同,智能化管理复杂AI计算任务[3] 性能表现 - SD200超节点满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍[4] - 满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍[4] - 公司通过软硬协同系统创新突破芯片性能边界,在大模型场景中展示出优异性能表现[4] 行业背景 - 混合专家模型驱动大模型参数规模持续扩展,国内外前沿大模型参数量快速突破万亿规模[3] - 模型参数量增加和序列长度增加导致键值缓存激增,需要智能计算系统具有超大显存空间[3] - 智能体AI开启多模型协作新范式,推理过程需要生成比传统模型多近百倍的数据词元[3] 产业影响 - 公司通过开放系统架构创新为开源大模型的规模化落地和应用创新提供关键支撑[4] - 超节点搭建带动高速连接器、高速线缆、板材等上下游相关技术创新和应用[4] - 推动形成更好的产业生态,提高生态竞争力[4]