行业趋势与挑战 - AI推理成为人工智能发展关键阶段 推理体验和成本成为衡量模型价值重要标准 [3] - 行业从"模型智能"转向"数据智能"拐点加速到来 数据治理和价值挖掘成为核心议题 [3] - 金融行业面临长序列输入"推不动"、并发低时延长"推得慢"、KV重复计算"推得贵"三大核心挑战 [5] 技术创新方案 - 公司推出UCM推理记忆数据管理器 由推理引擎插件、功能库和高性能存取适配器三大组件构成 [4] - 通过层级化自适应全局前缀缓存技术使首Token时延最大降低90% [4] - 实现推理上下文窗口10倍级扩展 长序列场景下TPS提升2-22倍 [4] - 智能分级缓存可在HBM、DRAM、SSD等存储介质中按需流动 [4] 应用成果验证 - 与中国银联合作在"客户之声"业务场景实现大模型推理速度提升125倍 [5] - 仅需10秒即可精准识别客户高频问题 有效促进服务质量提升 [5] - 联合发布智慧金融AI推理加速方案应用成果 [1] 生态发展计划 - 公司公布UCM开源计划 9月正式开源并贡献给主流推理引擎社区 [6] - 开放统一南北向接口 可适配多类型推理引擎框架、算力及存储系统 [6] - 通过开源推动全栈协同发展 促进推理架构进步和标准落地 [7]