Workflow
华为云CEO张平安:CloudMatrix384 AI Token服务全面上线
搜狐财经·2025-09-19 12:00

封面新闻记者 孟梅 易弋力 张平安指出,AI的Token服务可以有效屏蔽复杂的底层技术实现,是最高效的推理算力使用方式。会上,张平安宣布华为云CloudMatrix384 AI Token服务 全面上线,将以优的性能、好的服务、高的质量,高效满足各行各业所需的"最终AI计算结果"。 华为云通过CloudMatrix384超节点的创新架构,将资源全面池化,形成算力池、内存池、显存池等,把计算型任务、存储型任务、AI专家系统解耦开来, 将串行任务尽可能地变成分布式并行任务,极大地提升系统推理性能。在在线、近线和离线等不同时延要求推理场景中,CloudMatrix384的平均单卡推理 性能是中国特供H20的3~4倍。目前、已经为Pangu,DeepSeek,Qwen等业界主流大模型提供极致的Token服务,加速各行业 AI 技术落地与业务创新。 360纳米AI依托CloudMatrix384的Token推理服务,成功处理每天上千万的内容生成请求。中科院构建的"磐石·科学基础大模型"平台,基于CloudMatrix384 超节点内部高速互联架构及融合算子优化,模型训练精度更高,超出GPU 4%,支持100+专业院所领 ...