异构算力协同
搜索文档
中国电信完成业界首个面向大模型推理的异构算力协同技术验证
新浪财经· 2025-10-14 07:42
试验核心成果 - 业界首次完成DeepSeek系列模型基于英伟达算力与国产算力交叉组合的异构PD分离推理试验验证 [1] - 试验实现大模型推理集群降本增效,在6类典型场景下完成推理性能验证 [1] - DeepSeek 671B模型在多种场景下实现推理集群总吞吐性能提升30%至72% [1] - 模型并发能力提升2倍,同等吞吐条件下异构算力组合推理成本最高下降42% [1] - 试验达成存量利旧与国产替代的双重目标 [1] 技术实现路径 - 行业共识为针对推理Prefill与Decode阶段特性优化芯片设计,英伟达与华为已发布相应芯片规划 [2] - 公司构建异构通信优化、PD资源调配、推理任务调度全栈自研异构混推体系 [2] - 通过自研异构传输引擎实现跨架构芯片PD池间KVCache的高效传输 [2] - 采用自研国产算力赋能工具“翼芯”,根据业务特征与算力性能自动推荐并实时优化PD资源配比 [2] - 构建AI推理平台,实现推理任务在Prefill池与Decode池间的动态调度 [2] 行业影响与未来规划 - 技术验证成功体现公司对智算推理优化技术的深刻理解及对国产算力适配调优的实践创新 [2] - 彰显公司作为算力基础设施建设方推动国产算力从可用到好用的央企担当 [2] - 未来将持续深化国产算力高质量发展布局,面向大模型训推一体、多智能体系统打造互联互通高效协同的异构算力生态格局 [2]