Workflow
至强W处理器
icon
搜索文档
榨干3000元显卡,跑通千亿级大模型的秘方来了
量子位· 2025-04-14 17:09
金磊 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 书接上回 ,用几块 3000元 显卡作为加速主力的 一体机 ,就能跑通671B的 DeepSeek 。 放在个把月前,你敢想象这样的场景么? 正在埋头苦干,希望有更多样化产品交付的一体机厂商们,pick 英特尔锐炫 显卡 + 至强 W 处理器 这套组合拳,首要原因就是它的成本确 实诱人——基本算是砍掉了一个数量级 (下线可以控制在10万元以内) 。 其次就是这套组合也很能打,上面那个场景就是它目前的 "标杆式"战绩。 这两点加起来就是"真香"定律的复现。 但别光说不练,这种极具性价比的一体机实测的体感到底如何呢? 带着这个问题,我们直接上手亲自测试了一波。 例如我们先用QwQ-32B离线状态下问了个经典题目: 9.9和9.11哪个大? 同样的,我们可以看到输出速度依旧是非常的快。 从效果上来看,若是 单人 使用,一体机的速度已经达到了 32 tokens/s 。 讲真,这个速度在体感上已经是非常OK了。 而且这还不是个偶然事件,在同样的情况下,我们再问一个问题: 一个外星人来到地球后等可能选择以下四件事中的一件完成: 1,自我毁灭; 2,分裂成两个外 ...
大模型一体机塞进这款游戏卡,价格砍掉一个数量级
量子位· 2025-04-09 16:58
大模型一体机硬件选择 - 大模型一体机中可使用英特尔锐炫显卡作为N卡的替代方案 [1][2] - 飞致云测试显示4张锐炫A770显卡完成大型任务耗时50分钟,比N卡方案慢20分钟但成本仅为半张N卡价格 [6][7] - 英特尔方案将私有化部署成本从百万元级降低一个数量级,性价比显著提升 [12][13][14] 英特尔技术组合优势 - 采用锐炫显卡+至强W处理器的组合拳模式,显卡负责推理加速,CPU协调计算与异构加速 [16][17][20] - 通过优化显存带宽(A770卡间通信20G/秒)和低时延技术提升多卡并行效率,支持70B模型12路实时聊天 [20] - 适配多样化场景:2卡工作站至8卡一体机均可部署,覆盖30-50人团队需求 [9][20][30] 行业应用案例 - 飞致云MaxKB系统应用于知识问答、智能客服等场景,实现效率与成本优化 [5][22] - 超云推出塔式工作站至8卡高端一体机,支持32B-70B模型金融投顾、文档处理 [28][29][30][38] - 云尖边缘推理工作站支持4卡轻量化模型,适用于OCR、智能质检等本地化AI应用 [32] 一体机部署趋势 - 开箱即用、深度定制化特点加速企业部署,无需复杂调试且启动成本低 [35][36][37] - 一体机在运维简化、稳定性和专机专用方面优于传统IT系统与云服务 [39][40][41] - 英特尔方案兼容DeepSeek、Qwen、Baichuan等主流开源模型,适配多业务场景 [43][44] 行业生态与愿景 - 开源模型推动AI普惠,一体机承担类似PC普及的历史使命 [45][46] - 英特尔复刻PC时代成功经验,联合合作伙伴降低AI部署门槛 [46]