AI算力需求增长 - 中国AI算力需求呈现指数级增长 日均Token消耗量从2024年初的1000亿增至2024年6月底的30万亿 18个月内增长300倍[2] - 算力基础设施面临更大挑战 反映人工智能应用规模快速扩张[2] 华为云Tokens服务性能突破 - Tokens服务接入CloudMatrix384超节点 通过xDeepServe架构实现单芯片最高2400TPS和50msTPOT 吞吐量较年初1920TPS提升25%[1][2] - 提供在线版 进线版 离线版和尊享版等多种服务规格 满足不同应用场景性能和时延要求[2] 全栈算力架构创新 - CloudMatrix384超节点采用全新计算架构 突破性能瓶颈[4] - CANN昇腾硬件使能优化算子与通信策略 实现高效算力调用组合[4] - EMS弹性内存存储打破AI内存墙 以存强算彻底释放芯片算力[4] - xDeepServe分布式推理框架采用极致分离架构Transfomerless 提升算力效率[4] xDeepServe技术实现 - 采用Transformerless架构将MoE大模型拆分为Attention FFN Expert三个可独立伸缩微模块[5] - 通过XCCL微秒级通信库与FlowServe推理引擎重组 形成超高速LLM服务平台[6] - 实现单卡吞吐从600tokens/s提升至2400tokens/s 达4倍性能提升[6] - FlowServe引擎将超节点切分为自治DP小组 支持千卡并发无拥堵[6] 未来技术规划 - 计划实现Attention MoE Decode全数据流自由流动[7] - 将拼图方法复制到多台超节点 目标实现推理吞吐线性延伸和更大突破[7] 模型生态与性能优化 - MaaS服务支持DeepSeek Kimi Qwen Pangu等主流大模型及Dify 扣子等Agent平台[8] - 文生图模型通过Int8量化和算子融合实现2倍于业界出图速度 支持2K×2K尺寸[8] - 文生视频模型通过量化和通算并行实现3.5倍性能提升 降低延迟与显存占用[8] 行业应用落地 - 与超过100家伙伴合作开发行业Agent 覆盖调研分析 内容创作 智慧办公 智能运维等领域[8][9] - 今日人才数智员工解决方案集成NLP和机器学习技术 提升服务效率与客户满意度[9] - 无忧智慧公文解决方案提升政企公文处理效能 推动办公智能化转型[9]