Workflow
专家混合机制
icon
搜索文档
为什么 DeepSeek 大规模部署很便宜,本地很贵
AI前线· 2025-07-04 14:10
核心观点 - AI推理服务提供商在吞吐量和延迟之间存在基本权衡,高吞吐量通常伴随高延迟,低吞吐量则伴随低延迟[1] - 批处理大小是影响吞吐量和延迟的关键因素,大批次可提高GPU效率但增加延迟,小批次则相反[2] - 专家混合模型(如DeepSeek-V3)需要更大的批次大小才能保持GPU效率,导致更高的延迟[6] - 具有多层的大型模型需要足够大的批次以避免"管道气泡",这会显著影响吞吐量[8] - 注意力机制限制了批处理的灵活性,因为只能批量处理相同序列长度的token[9] 批处理推理机制 - GPU擅长执行大型矩阵乘法(GEMMs),批量处理多个token比逐个处理更高效[1] - 推理服务器通过将多个用户的请求堆叠成矩阵进行批量处理,显著提高GPU利用率[3] - 大批次处理减少了GPU命令开销和权重内存访问时间,这是小批次无法实现的优势[4] - 服务器设置"收集窗口"来决定批次大小,窗口时间从5毫秒到200毫秒不等[5] 专家混合模型特性 - 专家混合模型包含多个独立的前馈权重块,路由层选择子集处理每个token[6] - 这种架构导致需要执行大量小型矩阵乘法,GPU效率较低[6] - 大批次处理可确保每个专家获得足够工作量,否则吞吐量会急剧下降[12] - DeepSeek-V3作为专家混合模型,在个人使用场景效率低下,因为无法形成足够大的批次[12] 管道化与延迟问题 - 大型模型采用管道化处理,不同GPU负责不同层,需要保持连续token流[6] - "预热"和"排水"阶段导致GPU空闲,小批次会放大这种效率损失[7] - "管道气泡"发生在处理token数少于层数时,会严重影响吞吐量[8] - 消除管道气泡需要足够大的批次,这必然增加延迟[8] 注意力机制限制 - 注意力GEMMs只能批量处理相同形状的序列,限制了批处理的灵活性[9] - 解码过程中只能批量处理同一步骤的token,迫使采用短"tick"运行[9] - 不同用户的请求可以批量处理,但同一用户的token必须顺序处理[10] - 现代推理栈将注意力和FFN步骤合并成大GEMMs以提高效率[9] 行业实践观察 - OpenAI和Anthropic模型响应迅速,可能采用更高效架构或特殊优化技巧[12] - 连续批处理技术在实际中应用,但核心吞吐量-延迟权衡不变[12] - transformer模型可批量预填充长提示,这是递归模型无法实现的优势[12]