Workflow
高通数据中心AI推理解决方案
icon
搜索文档
高通发布AI200与AI250,升级数据中心AI推理解决方案
环球网· 2025-10-28 20:47
产品发布概述 - 公司宣布推出面向数据中心的下一代AI推理优化方案,包括基于Qualcomm AI200与AI250芯片的加速卡及机架系统 [1] - 该系列方案聚焦机架级性能与内存容量优化,旨在为生成式AI推理提供高效能支持,助力各行业推进可扩展、高效率的AI部署 [1] Qualcomm AI200方案 - 方案专为机架级AI推理设计,重点服务大语言模型和多模态模型推理及其他AI工作负载 [3] - 核心优势在于低总体拥有成本与性能优化,每张加速卡支持768GB LPDDR内存,以满足更高内存容量需求并控制成本 [3] Qualcomm AI250方案 - 方案首发近存计算创新内存架构,该架构可实现10倍以上有效内存带宽提升,同时显著降低功耗 [3] - 支持解耦式AI推理功能,能实现硬件资源高效利用,适配不同客户的性能与成本需求 [3] 机架解决方案共性技术 - AI200与AI250的机架解决方案均支持直接液冷散热以提升效率,并兼容PCIe纵向扩展与以太网横向扩展 [3] - 方案内置机密计算功能以保障AI工作负载安全,整机架功耗统一控制为160千瓦,符合数据中心能耗管理标准 [3] 软件支持 - 公司提供超大规模级AI软件栈,覆盖从应用层到系统软件层的全链路,并针对AI推理场景进行优化 [4] - 软件栈支持主流机器学习框架、推理引擎、生成式AI框架及解耦服务等LLM/LMM推理优化技术 [5] - 开发者可通过高效Transformer库与AI Inference Suite实现模型无缝接入,并能一键部署Hugging Face模型 [5] 商业化时间表与未来规划 - Qualcomm AI200预计于2026年实现商用,Qualcomm AI250则计划在2027年推向市场 [5] - 未来公司将按年度迭代节奏推进数据中心产品技术路线图,持续聚焦AI推理性能、能效与总体拥有成本优化 [5]