文章核心观点 - DeepSeek发布名为DualPath的全新推理系统方案，旨在解决大语言模型在智能体应用场景下因多轮、短追加交互导致的KV缓存存储I/O瓶颈 [1] - 该方案通过引入从存储直通解码引擎的双路径加载机制，聚合所有存储网卡带宽，重新分配网络负载，基本消除了KV缓存的I/O开销 [1][5] - 在真实测试中，该系统将离线推理吞吐量最高提升1.87倍，在线服务吞吐量平均提升1.96倍，并在1152张GPU上验证了近线性扩展能力 [1][17] 技术背景与问题 - **智能体I/O瓶颈凸显**：随着智能体应用普及，多轮推理导致上下文跨轮累积到极长长度，由于KV缓存命中率高达95%以上，加载效率取代计算成为性能主导因素 [3] - **传统设计成本高昂**：现有系统采用预填充-解码分离和外部KV缓存存储架构，但预填充引擎存储网卡带宽持续饱和，解码引擎带宽大量闲置，这种不平衡暴露了根本性低效，单纯增加预填充端带宽成本高昂 [3] DualPath解决方案架构 - **核心洞察**：打破“KV缓存加载必须以预填充为中心”的传统设计，增加存储到解码路径，将KV缓存先加载至空闲的解码引擎，再通过RDMA高效传输给预填充引擎 [5] - **三大核心组件**： - **推理引擎**：作为基础执行单元，每个引擎管理一个GPU，明确区分为预填充引擎和解码引擎 [6] - **流量管理器**：内嵌于每个引擎，统筹所有数据移动，采用以计算网卡为中心的流量管理策略，确保KV缓存流量不干扰延迟敏感的模型集体通信 [6] - **请求调度器**：作为中央决策单元，接收客户端请求并智能分发，动态决策每条请求采用传统路径还是新型路径，实现双路径间的流量均衡与全局负载优化 [7] 实现细节与挑战应对 - **具体实现**：在每个引擎预留DRAM作为缓冲区，数据传输采用分层流式方式，以缓解HBM容量压力并实现计算与通信的重叠 [9] - **系统无新增瓶颈验证**：通过建立流量模型进行系统性分析，在典型配置及可行的预填充/解码节点比例区间内，计算网卡、PCIe以及DRAM均不会成为瓶颈 [9][10] - **落地面临的三大挑战及对策**： - **细粒度数据传输**：通过分层流式执行解决 [11] - **流量隔离**：采用以计算网卡为中心的流量管理机制，利用硬件QoS能力进行优先级隔离，例如在InfiniBand中将模型推理通信映射到高优先级虚拟通道，KV传输映射到低优先级通道 [11][12] - **动态负载均衡**：采用两级自适应调度机制，在引擎间和引擎内实现负载均衡，避免资源过载 [12] 性能评估结果 - **吞吐量显著提升**：在DeepSeek V3.2 660B模型上，DualPath相较于内部基线推理框架最高实现1.87倍加速，性能接近假设零I/O开销的理论上限 [13] - **在线服务表现优异**：在智能体请求到达速率上显著优于基线，在DS27B和DS660B模型上分别达到1.67倍和2.25倍提升 [15] - **负载均衡改善**：调度算法将存储网卡负载均衡指标从1.53优化至1.18，并将注意力层最大/平均执行时间比控制在1.06以内，减少了GPU空闲气泡 [17] - **大规模可扩展性验证**：离线推理从2P4D扩展到48P96D实现近线性扩展，任务完成时间基本保持一致；在线服务中，44P88D配置在保持相似延迟的同时，将吞吐量提升22倍 [1][17][18] 行业影响与未来方向 - **行业影响**：该方案为业界处理大规模智能体推理任务提供了新的思路，是解决KV缓存I/O压力的一个值得关注的方向 [19] - **未来方向**：研究团队指出，下一步需要研究更自适应和更灵活的并行度和预填充/解码比例配置方法，例如模拟器或在线调整机制 [19]