行业核心观点 - 国泰海通证券给予电子行业“增持”评级 [1][2] - AI创造的庞大数据量冲击全球数据中心存储设施 [1][2] - 基于SSD的存储卸载技术方案可为AI模型高效运行提供新路径 [1][3] 技术挑战:KV Cache与内存瓶颈 - 键值缓存(KV Cache)技术通过存储已生成token的Key和Value来优化计算效率、减少重复运算,显著提升推理效率 [2] - 随着Agentic AI时代到来,模型规模化扩张、长序列需求激增以及推理任务并发量增长,推理的KV Cache容量增长已超出HBM的承载能力 [2] - KV Cache需要占用GPU的显存(如HBM),生成的文本越长,缓存数据量越大,可能导致HBM和DRAM超载,造成频繁的内存溢出和卡顿迟缓 [2] 解决方案:存储卸载技术 - 业界探索KV Cache分级缓存管理技术,支持将KV Cache缓存从GPU内存卸载到CPU、SSD甚至网络存储,以解决大模型显存瓶颈 [2][3] - 英伟达推出的分布式推理服务框架Dynamo支持KV Cache卸载,其KVBM提供从GPU memory到CPU host memory、SSD、远端存储的卸载,避免大量KV Cache重计算 [3] - 三星电子提出基于SSD的存储卸载方案,将KV Cache卸载至NVMe SSD,可使首token延迟(TTFT)最高降低66%,token间延迟(ITL)最高降低42% [3] 市场趋势:存储设备更替 - 传统作为海量数据存储基石的Nearline HDD已出现供应短缺,促使高效能、高成本的SSD逐渐成为市场焦点 [1][2][4] - AI推理应用推升实时存取、高速处理海量数据的需求,促使HDD与SSD供应商积极扩大供给大容量存储产品 [4] - 由于HDD市场面临巨大供应缺口,NAND Flash业者加速技术转进,投入122TB、甚至245TB等超大容量Nearline SSD的生产 [4]
国泰海通:打破内存墙限制 AI SSD迎来广阔成长空间