文章核心观点 - Supermicro联合IBM和NVIDIA推出KV缓存存储解决方案，集成Supermicro Petascale全闪存存储服务器（搭载AMD EPYC 9005系列处理器）、IBM Storage Scale软件、NVIDIA Dynamo推理框架软件及Spectrum-X以太网网络 [1] - 该方案将KV缓存容量扩展至GPU本地内存之外，可提升GPU利用率和推理吞吐量，同时实现KV缓存内容的高可用性和无中断容量扩展，构建更具可扩展性和弹性的推理架构 [2] - Supermicro总裁兼CEO Charles Liang表示，随着AI工作负载从训练转向推理，部署高吞吐推理工作负载的企业和neocloud需要消除瓶颈以提升GPU效率，该联合方案清晰展示了这些性能优势 [3] 行业背景与需求驱动 - 推理工作负载包含prefill和decode两个阶段，prefill阶段将输入文本转换为token并由LLM处理生成推理所需的中间键值状态 [4] - 通过将已计算的KV状态存储在持久化KV缓存中，系统可复用这些状态而非对后续请求重新计算相同上下文 [4] - 智能体工作流、编程助手、长上下文RAG、多模态AI和多轮应用在处理大型代码库、文档、对话、图像等上下文时会产生大量KV状态，迅速超出GPU和CPU内存容量，驱动将KV缓存卸载至高容量共享网络存储的需求 [4] 解决方案与客户价值 - 该KV缓存解决方案提供持久化存储层，帮助提升推理效率、吞吐量和可扩展性，同时减少冗余计算 [5] - 性能测试显示，相比无KV缓存的系统，该方案可降低长上下文窗口的首次令牌时间 [5] - 客户可通过更高的GPU利用率、吞吐量和基础设施可扩展性显著提升推理效率 [5] 合作方观点 - IBM存储总经理Sam Werner表示，企业需要从根本上更好的AI推理扩展方式，该高性能、有弹性的KV缓存方案帮助客户最大化GPU投资、独立于计算进行扩展并显著提升基础设施效率 [6] - NVIDIA AI推理产品负责人Shruti Koparkar表示，智能体AI和长上下文应用依赖多步骤间高效复用上下文，NVIDIA Dynamo帮助编排分布式推理以提升每块GPU的可用吞吐量，该方案创建高性能共享存储层，可减少冗余计算、改善首次令牌时间并帮助客户扩展弹性AI推理服务 [6] 性能验证数据 - Supermicro与NVIDIA联合测试中，使用1200亿参数LLM，持久化KV缓存在130000 token提示下实现最高56倍更快的首次令牌时间 [9] - 当输入长度从30000 token增至130000 token时，使用KV缓存的TTFT仅增加0.377秒，而无KV缓存时增加29.55秒，为长上下文工作负载提供更一致的性能 [9] - 通过将频繁复用的上下文保存在GPU内存之外，该方案帮助减少GPU空闲时间、提升推理吞吐量并支持更大并发量，而无需按比例增加GPU资源 [9] - 持久化高可用KV缓存帮助保护缓存推理状态，同时提供跨GPU节点和集群的共享访问，支持更大规模下更具弹性和存储效率的AI服务 [9] - Supermicro、IBM和NVIDIA在高并发及噪声邻居场景下联合验证了集成架构，整合NVIDIA Dynamo、IBM Storage Scale软件、Supermicro Petascale服务器和NVIDIA Spectrum-X网络 [9] - Supermicro的工厂机架集成和现场部署服务可将该方案的部署时间从数周缩短至数天 [9] 公司背景 - Supermicro（NASDAQ: SMCI）是应用优化整体IT解决方案的全球领导者，总部位于加州圣何塞，致力于为企业、云、AI和5G电信/边缘IT基础设施提供首创创新 [7] - 公司产品在美国、台湾和荷兰内部设计制造，利用全球运营实现规模与效率，优化总拥有成本并减少环境影响（绿色计算） [7] - 获奖的Server Building Block Solutions®产品组合允许客户从广泛的系统家族中选择，针对精确工作负载和应用进行优化，支持全面的外形规格、处理器、内存、GPU、存储、网络、电源和冷却解决方案（风冷、自由空气冷却或液冷） [7]