UCM推理记忆数据管理技术
搜索文档
存力中国行暨先进存力AI推理工作研讨会在京顺利召开
证券日报网· 2025-11-07 15:29
中国信息通信研究院首席专家石友康出席研讨会并致辞,中国信息通信研究院云大所总工程师郭亮主 持。中国移动(600941)云能力中心项目总师周宇,华为数据存储产品线战略与业务发展部总裁王旭 东,北京硅基流动科技有限公司解决方案总监唐安波发表主题演讲。 研讨会上,中国信息通信研究院首席专家石友康深刻阐述了当前AI规模化应用推进,推理环节的成 本、效率、质量问题凸显,先进存力成为提升AI推理效能、控制成本的关键。当前,国家高度重视先 进存力发展,在《算力基础设施高质量发展行动计划》等政策中明确提出"加速存力技术研发应用""持 续提升存储产业能力""推动存算网协同发展",为产业发展指明了方向。中国信息通信研究院在政策研 究、标准制定、测试服务等方面开展多项工作,并联合产业链企业成立"算力产业发展方阵先进存力AI 推理工作组",同时提出了三点建议:鼓励前沿存储技术研发创新,推动存算运深度融合,加强存算协 同产业生态建设,呼吁业界同仁凝聚共识,共同推动我国存算协同发展。 唐安波在会上围绕大模型推理"推不动、推得慢、推得贵"问题展开分享,硅基流动构建的AI infra工具 链,聚焦提升算力利用率。核心推理框架适配100多款开 ...
Token经济时代,AI推理跑不快的瓶颈是“存力”?
钛媒体APP· 2025-11-07 12:08
在日前由中国信息通信研究院组织的"先进存力 AI 推理工作研讨会"上,行业嘉宾达成共识,推理时代 的性能瓶颈、成本压力和体验优化,正在从算力侧转移到存储侧,先进存力不再是配角,而是推动 AI 真正落地的主动力量之一。 推理,正在改变 AI 产业的优先级 如果说过去两年是"参数规模"的军备竞赛,那么 2025 年开始的阶段则更接近"推理效率"的商业竞争。 Token调用量爆发式增长,推理成本持续攀升,在AI推理的性能指标中,都是以"Token数"为量纲。 AI加速落地,意味着"Token经济"的时代。模型训练可以只发生在几个大型企业的超级节点中,但模型 推理则遍布千行百业、无数产品端,决定着实际用户体验、服务成本和业务可持续性。 推理负载的根本变化集中在三个方面: 第一,长上下文和复杂任务让 KVCache 从模型的"临时记忆"变成影响性能的核心资产,其容量随 输入长度呈指数级增长; 第二,多模态从文本扩展到图像、音频、视频和时序数据,原本简单的顺序读写I/O模式已无法满 足实时推理的复杂需求; 第三,训推一体化趋势加速,模型在持续迭代和增量更新,推理系统需要在高负载下保持一致 性、低延迟和稳定性。 大模型产业 ...
存力中国行北京站暨先进存力AI推理工作研讨会顺利召开
观察者网· 2025-11-06 12:14
次数)不足,导致GPU等昂贵算力资源长时间空闲。传统存储架构难以兼顾高吞吐、低时延及异构数据 融合的需求,造成业务发展瓶颈,阻碍AI应用落地。华为针对AI推理研发的UCM推理记忆数据管理技 术在行业落地中的核心作用,通过"集中高质数据、提速AI训练、优化推理效能"三个角度,打造AI推理 加速解决方案。 唐安波在会上围绕大模型推理"推不动、推得慢、推得贵"问题展开分享,硅基流动构建的AI infra工具 链,聚焦提升算力利用率。核心推理框架适配100多款开源大模型,并通过公有云服务平台为广大开发 者和企业提供优质的大模型服务。解决方案上,结合UCM技术卸载KVCache释放显存、提升推理性 能,同时通过智能网关进一步优化流量调度、弹性扩缩容等策略,来应对高并发、低延时、高吞吐、长 上下文等痛点,基于存储的KVCache方案可大幅提升系统吞吐。 在内部研讨环节,参会专家围绕算力产业发展方阵先进存力AI推理工作组下一阶段工作建议进行研 讨,中国移动云能力中心、华为、硅基流动、浪潮信息、清微智能、东方算芯、智元芯、算苗科技、得 一微电子等工作组成员单位参与讨论,贡献实践经验。存力中国行暨先进存力AI推理工作研讨会的成 ...
先进存力赋能AI大模型发展
中国新闻网· 2025-11-06 10:29
2023年10月,工信部等六部门印发《算力基础设施高质量发展行动计划》,明确提出"加速存力技术研 发应用"、"持续提升存储产业能力"、"推动存算网协同发展"等发展方向。 中国信通院联合产业链企业成立"算力产业发展方阵先进存力AI推理工作组"。石友康建议,鼓励前沿存 储技术研发创新,推动存算运深度融合,加强存算协同产业生态建设,业界凝聚共识,共同推动我国存 算协同发展。 华为数据存储产品线战略与业务发展部总裁王旭东表示,AI时代,IT基础设施能力面临三大挑战:"管 不好"的数据、"喂不饱"的算力、"降不下"的成本。华为针对AI推理研发的UCM推理记忆数据管理技 术,通过"集中高质数据、提速AI训练、优化推理效能"三个角度,打造AI推理加速解决方案。 中新网北京11月5日电 (记者刘育英)由中国信息通信研究院组织召开的"存力中国行"北京站活动4日在北 京举行,活动通过座谈会和实地调研的方式,深入探讨AI时代下先进存力赋能AI大模型发展的支撑作 用。 当前,AI推理在各行各业大规模使用,各行各业迫切需要将模型能力无缝融入到实际业务场景中,如 投研分析、卷宗分析、智能客服、医疗影像辅助诊断等。AI技术虽已在文档处理等 ...