Workflow
AI部署成本有望降至5万元以内 联想发布推理加速引擎 搭载产品预计下半年上市

行业趋势 - AI一体机批量现世使企业部署AI和大模型的成本从百万元级别降至20万元左右 并有望进一步下探至数万元级别 [1] - 端侧计算和推理能力将保持指数级增长 未来12个月端侧AI综合能力预计提升至少三倍 [2] 技术创新 - 联想集团推出"联想推理加速引擎" 该软硬件协同优化平台由联想、清华大学及无问芯穹联合研发 [1] - 该引擎通过高性能并行解码、算子融合优化及异构计算技术 结合大模型推理芯片 提升推理速度同时降低功耗和内存占用 [1] - 该引擎可使普通笔记本电脑的本地推理能力媲美OpenAI去年发布的o1-mini云端模型 [1] 产品应用 - 下一代AI PC将搭载"联想推理加速引擎" [2] - 联想展示搭载该引擎的台式电脑产品 内置1张中阶显卡和1张显存扩容卡 整体造价约4万元 [2] - 该产品可实现32B大模型的本地训练 预计2023年下半年上市 [2] 成本优势 - 传统32B大语言模型训练方案成本约200万元 需8张英伟达显卡 [2] - 联想方案使模型本地训练成本下降98% [2] - 该方案将显著降低金融、教育、法律等领域中小企业私有化部署大模型的成本 [2]