以下文章来源于MaxAIBox ，作者Max MaxAIBox . MaxAIBox.com 汇集优秀 AI 工具，探索 AI 无限可能 最近刷 HackerNews，看到了这篇引发热议的技术文章。 英文作者工程师小哥 Sean Goedecke 目前在 GitHub 就职。 说明：本文讨论的并非在个人电脑上运行模型，而是假设你拥有所有所需的 GPU 时，如何将模型用于个人用 途（即批量处理与吞吐量之间的权衡）。 为什么 DeepSeek 大规模部署成本低，但本地运行昂贵？ 为何 DeepSeek-V3 模型在大规模部署时看似快速且成本低廉，然而在本地运行却既缓慢又昂贵？为何部分 AI 模型响应迟缓，但一旦启动就运转迅速？ AI 推理服务提供商常提及吞吐量与延迟之间的根本性权衡：对于任何给定模型，要么以高吞吐量、高延迟的 方式提供服务，要么以低吞吐量、低延迟的方式运行。 实际上，某些模型天生对 GPU 利用率低，以至于在实践中，为了获得可行的吞吐量，必须以高延迟的方式提 供服务（例如 DeepSeek-V3）。 3、 该令牌大小的矩阵进入队列； 4、 GPU 服务器从队列中提取批次（例如 128 个），将它们 ...

点击 上方 硬AI 关注我们 新版V3-0324模型总参数量达6710亿、编码能力媲美Claude 3.7 Sonnet、一个提示词生成完整登录页、开源许可比初代 V3更宽松……网友：新版V3来了，R2还会远吗？ 作者 |李笑寅 编辑 | 硬 AI 闷声干大事！DeepSeek悄然发布V3新版本。 没有发布会，没有媒体宣传，3月24日晚间，DeepSeek就这样"悄悄地"将其最新版V3-0324模型 上传至 Hugging Face。 硬·AI | Hugging Face | | | | Models | Datasets Spaces Posts 리 | Q Search models, datasets, users ... | | | | | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | a deepseek-ai / DeepSeek-V3-0324 | ♡ like 53 | | | | | | | Follow a DeepSeek 48.7k | | | | 8 Safetensors deepsee ...