Workflow
英特尔锐炫显卡
icon
搜索文档
榨干3000元显卡,跑通千亿级大模型的秘方来了
量子位· 2025-04-14 17:09
金磊 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 书接上回 ,用几块 3000元 显卡作为加速主力的 一体机 ,就能跑通671B的 DeepSeek 。 放在个把月前,你敢想象这样的场景么? 正在埋头苦干,希望有更多样化产品交付的一体机厂商们,pick 英特尔锐炫 显卡 + 至强 W 处理器 这套组合拳,首要原因就是它的成本确 实诱人——基本算是砍掉了一个数量级 (下线可以控制在10万元以内) 。 其次就是这套组合也很能打,上面那个场景就是它目前的 "标杆式"战绩。 这两点加起来就是"真香"定律的复现。 但别光说不练,这种极具性价比的一体机实测的体感到底如何呢? 带着这个问题,我们直接上手亲自测试了一波。 例如我们先用QwQ-32B离线状态下问了个经典题目: 9.9和9.11哪个大? 同样的,我们可以看到输出速度依旧是非常的快。 从效果上来看,若是 单人 使用,一体机的速度已经达到了 32 tokens/s 。 讲真,这个速度在体感上已经是非常OK了。 而且这还不是个偶然事件,在同样的情况下,我们再问一个问题: 一个外星人来到地球后等可能选择以下四件事中的一件完成: 1,自我毁灭; 2,分裂成两个外 ...