华为发布AI推理创新技术UCM
证券时报网·2025-08-12 14:55
公司技术发布 - 华为正式发布AI推理创新技术UCM(推理记忆数据管理器)[1] - 该技术是一款以KV Cache为中心的推理加速套件,融合了多类型缓存加速算法工具[1] - 技术通过分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口[1] 技术性能与优势 - 该技术旨在实现高吞吐、低时延的推理体验[1] - 技术核心优势之一是降低每Token推理成本[1] 应用场景与进展 - UCM技术已率先在中国银联的"客户之声"、"营销策划"、"办公助手"三大业务场景中开展应用试点[1] - 该试点为智慧金融AI推理加速应用,并已取得成果[1]