Workflow
Tokens服务
icon
搜索文档
华为云再掀算力风暴:CloudMatrix384超节点将升级,Tokens服务性能最大可超H20四倍
量子位· 2025-09-19 12:11
华为云算力黑土地理念与战略 - 华为云提出"算力黑土地"理念,旨在为企业和开发者提供肥沃的AI创新基础,通过框架创新和软硬协同等能力积累使这片"土壤"越来越肥沃 [7] - 公司策略是智算与通算协同推进,以覆盖全产业算力需求 [8][9] - 智算聚焦AI前沿,提供极致性能与弹性服务;通算依托鲲鹏云服务,提供安全可信的云上通用算力 [12] CloudMatrix超节点技术突破与演进 - CloudMatrix384超节点在2025年4月发布并商用,并于同年6月基于其的新一代昇腾AI云服务全面上线 [6] - 基于最新AI服务器规划,CloudMatrix超节点规格将从384卡升级到未来的8192卡,依托MatrixLink高速对等互联网络实现百万卡AI集群 [5][19] - 超节点通过自研MatrixLink网络将384颗昇腾NPU和192颗鲲鹏CPU紧密耦合,形成逻辑统一的超级"AI服务器",通过Scale Out方式可组成超16万卡的AI集群 [18] Tokens服务模式创新与优势 - 华为云推出基于CloudMatrix384超节点的Tokens服务,这是一种面向AI大模型推理场景、按实际Token消耗量计费的云服务模式 [14] - 数据显示,中国日均Token消耗量从2024年初的1000亿增长至2025年6月底的30万亿,一年半时间增长300多倍 [15] - Tokens服务能有效屏蔽复杂的底层技术实现,用户可直接获得"AI的最终结果",其性能宣称超越英伟达H20达3-4倍 [17] 关键技术创新细节 - 首创EMS弹性内存存储服务,将NPU显存、CPU内存和存储资源解耦,形成统一资源池,实现显存独立扩容,多轮对话Token时延大幅降低 [5][19] - 实现PDC分离及动态PD,将Prefill、Decode固化在各自集群,并设立独立的KV缓存集群,提高负载均衡和NPU利用率 [20] - 超节点专为主流MoE架构设计,支持"一卡一专家"的分布式推理模式,如256个专家对应256张卡,减少通信延迟和显存占用 [20] 行业应用案例与性能提升 - 为360纳米AI平台提供算力支持,该平台单任务执行步骤可达1000步,消耗500万至3000万Tokens,华为云将其调用量最大的模型部署在CloudMatrix384上进行全面调优 [21][22] - 为中国科学院自动化研究所的"磐石·科学基础大模型"提供基于国产化昇腾芯片的昇腾AI云服务,实现全链路自主可控 [23][25] - 在北京正负电子对撞机的粒子轨迹重建任务中,基于磐石大模型和华为云服务,模拟速度提升1个量级,物理分析周期缩短1个量级 [25] 鲲鹏通算业务进展 - 鲲鹏云业务基于自研鲲鹏处理器,提供面向通用计算场景的云服务 [11] - 云上鲲鹏核数从900多万核增长到1500万核,增幅达到67%,已适配超过25000个应用,为ARM生态繁荣提供支撑 [11] 全球算力竞争背景 - AI行业普遍存在算力焦虑,硅谷大厂如OpenAI、马斯克旗下公司、Meta、AWS等均在积极获取更多算力资源 [3] - 算力发展需要单点技术突破以及芯片、硬件、架构、软件、网络、能源乃至整个产业生态的协同演进 [3]
华为云大撤退之后:张平安的“黑土地”豪赌
搜狐财经· 2025-09-10 15:09
公司战略调整 - 华为云在2025年8月进行大规模组织调整 涉及上千人及数十个部门合并重组 重点围绕产品部、公有云服务部及研发部等核心团队[4] - 调整后业务聚焦"3+2+1"布局:"3"为通算、智算、存储;"2"为AI PaaS与数据库;"1"指安全 同时下架20余款边缘产品包括企业邮箱、域名注册等[4][7][9] - 战略从"广撒网"转向"All-in"式突破 旨在降本增效并实现盈利核心目标[9][12] 财务与市场表现 - 2024年华为云收入385.23亿元 同比增长8.5% 但仍处于亏损状态[9] - 2025年上半年华为集团营业收入4270亿元 净利润371.95亿元 同比大幅下降32%[25] - 全球IaaS市场排名前五 中国大陆市场份额达18%位列第二[8][9] 算力与AI战略 - 提出"算力黑土地"战略 通过昇腾AI云服务与Tokens服务满足客户计算结果需求[2][12] - 昇腾AI云服务客户数从2024年321家增长至2025年1714家 覆盖央国企、智能驾驶、大模型等行业[23] - 算力规模同比增长接近250% 并推出基于MaaS理念的Tokens计费模式 客户按实际使用量付费[21][23] 技术布局与竞争力 - 采用软硬结合路径:硬件以昇腾芯片为核心 软件以盘古大模型为核心[18] - 推出CloudMatrix 384超节点集群 算力性能宣称超越英伟达NVL72[18] - 全球开服节点覆盖33个地理区域96个可用区 国内布局贵安、乌兰察布、芜湖三大算力枢纽 实现国内30ms/海外50ms低时延[20] 行业挑战与风险 - 中国算力市场呈现"过剩"与"短缺"并存的结构性特征 价格持续下行[4][24] - 面临阿里云等对手激烈竞争 阿里云通义千问模型价格降幅达97%[24] - 2024年7月盘古大模型被质疑与竞品技术重合度超40% 引发技术信任危机[24] 组织与领导层 - 张平安2021年接任华为云CEO 2023年进入董事会任常务董事 在华为董事会业务排名第六[14][16] - 云业务被视为华为"唯一黑土地" 承载公司AI时代核心战略地位[13][28] - 盈利压力下集团对华为云有迫切盈利要求 业绩表现可能影响管理层晋升[16][25]
华为云CEO:384超节点每卡性能可达英伟达H20三倍
观察者网· 2025-08-30 11:38
公司战略与定位 - 华为云强调以提供客户所需计算结果为核心目标 而非单纯依赖芯片工艺[1] - 公司通过系统级创新弥补单点短板 包括以空间换算力 以带宽换算力 以能源换算力[1] - 组织架构调整为聚焦3+2+1业务:通算 智算 存储三大基础服务 AI PaaS与数据库两大平台 安全业务一个核心[6] - 调整目的为集中资源最大化"昇腾AI+盘古"组合优势 砍掉协同效应弱的外围研发[6] 技术突破与产品进展 - 发布CloudMatrix384超节点 集成384颗昇腾NPU和192颗鲲鹏CPU 算力达300 PFlops[2] - 通过xDeepServe架构实现单芯片2400TPS吞吐量与50msTPOT时延 超越业界水平[2][3] - xDeepServe采用Transformerless分离架构 将MoE大模型拆分为Attention/FFN/Exper微模块并行处理[3] - 超节点单卡吞吐量从600tokens/s提升至2400tokens/s 达H20芯片效率的三倍[3] - 支持横向扩展至16万卡AI集群 可同时训练1300个千亿参数大模型[2] 市场表现与客户增长 - 昇腾AI云服务客户数从321家增长至1714家 同比增长434%[5] - 整体算力规模同比增长接近250%[5] - 在中国大陆云服务市场占据18%份额 位列第二[6] - 智能驾驶领域取得突破 引望(中国最大智驾企业)已部署于昇腾平台[6] - CloudMatrix384在感知模型/E2E/VLA模型测试中达到H100的2.5-3倍性能[6] 基础设施布局 - 围绕贵安 乌兰察布 和林格尔 芜湖打造全国算力一张网[5] - 仅在贵州已部署超40套CloudMatrix384超节点[5] - 华为云贵安汽车专区正式上线 长安天枢智驾搭载CloudMatrix384亮相[5] - 云服务连续756天保持重大事故为零记录[5] 行业趋势与认知 - 未来十年算力需求可能有数万倍增长[1] - 市场主流需求从"上云"转向"上AI" AI工作负载成为云业务核心引擎[6] - 需以AI原生思维重构应用 数据 流程和人员组织[7] - 中国拥有千行万业业务场景 有望在各行业构筑全球AI领先优势[7]
华为云张平安:坚持打造“算力黑土地” 加速行业智能跃迁
央广网· 2025-08-28 21:52
算力基础设施战略 - 面对未来十年算力需求数万倍增长 公司坚定不移打造算力黑土地 充分发挥联接技术优势和数据中心资源布局 [1] - 围绕贵安 乌兰察布 和林格尔 芜湖三大核心枢纽打造全国算力一张网 整体算力规模同比增长率接近250% [3] - 通过光通信 网络 供电等多技术协同 以系统补单点 以空间换算力 以带宽换算力 以能源换算力提升性能规模 [3] 算力服务能力建设 - 在贵安部署最大规模CloudMatrix384超节点 服务全国客户并打造东数西算工程标杆 [3] - 超节点集成384颗昇腾NPU和192颗鲲鹏CPU 算力规模达300 PFlops 支持横向扩展至16万卡AI集群 [4] - 为央国企 智能驾驶 大模型等行业提供算力服务 头部金融机构每日稳定支撑超1000个智能体应用 [4] 技术性能指标突破 - 昇腾AI云服务客户数量从去年321家增长至今年1714家 增幅显著 [3] - Tokens服务在高吞吐场景下实现2400TPS吞吐量 时延控制在50ms 达到业界新高标准 [5] - 支持主流开源大模型包括DeepSeek和Kimi 在昇腾云平台实现更优运行效能 [5] 行业市场地位表现 - 政务 工业 金融 汽车四大行业市场份额位列第一 医疗 药物 气象 汽车领域进入领导者象限 [6] - 容器 数据库等九大产品领域进入Gartner魔力象限 云服务连续756天保持重大事故为零纪录 [6] 数据生态体系构建 - 在国家数据局指引下构建AI可信数据空间新范式 实现全域入湖 AI好用 可信流通 [5] - 通过AI自动构建企业知识图谱 使业务人员能快速构建智能体应用 完成各类AI任务 [5] 智能化发展理念 - 强调AI原生思维重要性 主张围绕AI重新构建应用 数据 流程 人员体系 [6] - 认为未来AI将成为任务执行主体 人类角色转向AI管理与控制 企业需通过AI原生思维实现智能跃迁 [6]
华为云张平安:坚持打造“算力黑土地”,加速行业智能跃迁
经济网· 2025-08-28 16:41
算力基础设施布局 - 面对未来十年算力需求数万倍增长 公司通过昇腾AI云服务和Tokens服务满足客户最终计算结果[1] - 围绕贵安 乌兰察布 和林格尔 芜湖三大核心枢纽打造全国算力一张网 整体算力规模同比增长接近250%[3] - 在贵安部署最大规模CloudMatrix384超节点 在贵安和乌兰察布建设超大规模灾备云中心为央国企提供高性能算力服务[3] 技术架构与性能突破 - CloudMatrix384超节点整合384颗昇腾NPU和192颗鲲鹏CPU 算力规模达300 PFlops 支持横向扩展至16万卡AI集群[4] - 通过高速网络MatrixLink全对等互联 可支持1300个千亿参数大模型同时训练[4] - Tokens服务在50ms时延下实现2400TPS吞吐量 支持DeepSeek Kimi等主流开源大模型[5] 行业应用与客户增长 - 昇腾AI云服务客户数量从去年321家增长至今年1714家 覆盖央国企 智能驾驶 大模型等行业[3] - 头部金融机构每天稳定支撑超1000个智能体应用[4] - 在政务 工业 金融 汽车四大行业市场份额位列第一 医疗药物气象汽车进入Gartner领导者象限[6] 数据生态建设 - 构建以知识为中心的AI原生数据底座 通过AI自动构建企业知识图谱[5] - 与国家数据局合作升级全域入湖 AI好用 可信流通的AI可信数据空间新范式[5] - 帮助企业基于积累数据快速构建智能体应用 实现各类AI任务[5] 运营与服务能力 - 重大事故为零记录持续756天 强调安全稳定高质量服务能力[6] - 通过光通信 网络 供电等技术以系统补单点 以空间换算力 以带宽换算力 以能源换算力[3] - 提供统一多元算力架构支持企业云上训练与推理[4]