Workflow
英特尔®至强®处理器
icon
搜索文档
天翼云CPU实例部署DeepSeek-R1模型最佳实践
量子位· 2025-03-03 15:58
文章来源:天翼云网站 量子位 | 公众号 QbitAI 本文介绍了 英特尔 ® 至强 ® 处理器在AI推理领域的优势,如何使用一键部署的镜像进行纯CPU环境下基于AMX加速后的 DeepSeek-R1 7B蒸馏模型推理,以及纯CPU环境下部署DeepSeek-R1 671B满血版模型实践。 大模型因其参数规模庞大、结构复杂,通常需要强大的计算资源来支持其推理过程,这使得算力成为大模型应用的核心要素。随着DeepSeek-R1模型 的问世,各行各业纷纷展开了关于如何接入大模型能力的广泛调研与探索,市场对大模型推理算力的需求呈现出爆发式增长的趋势。 例如在医疗、金融、零售等领域,企业迫切希望通过接入DeepSeek大模型来提升决策效率和业务能力,从而推动行业的创新发展。在这一背景下,算 力的供给和优化成为推动大模型落地应用的重要因素。 近年来,CPU制程和架构的提升以及 英特尔 ® 高级矩阵扩展AMX(Advanced Matrix Extensions)加速器的面世带来了算力的快速提升。英特尔对大 模型推理等多个AI领域持续深入研究,提供全方位的AI软件支持,兼容主流AI软件且提供多种软件方式提升CPU的AI性 ...