AI推理存储需求增长 - AI推理应用快速增长推动对高性能内存和分层存储的依赖显著提升 HBM DRAM SSD及HDD在超长上下文和多模态推理场景中发挥关键作用[1] - 轻量化模型部署推动存储容量需求快速攀升 预计未来整体需求将激增至数百EB级别[1] - 2026年10个谷歌级推理应用所需存储容量测算为49EB 基于单月处理超980万亿tokens及FP16格式存储等关键假设[3] 分层存储架构特征 - AI服务器存储主要包括HBM DRAM SSD等 呈现性能逐级下降 容量逐级增加 成本逐级降低特征[1] - 访问频繁数据保留在较高存储层如CPU/GPU缓存 HBM和动态RAM 鲜少访问数据移动到较低存储层如SSD和硬盘驱动器[1] - HBM集成于GPU内部为权重和激活值提供高带宽临时缓冲 DRAM作为系统内存存储中间数据及实现CPU与GPU间高效数据传递[2] 各级存储功能协同 - 本地SSD用于实时加载模型参数和数据满足高频读写需求 并存储短期检查点与临时生成内容支撑快速迭代[2] - HDD提供经济大容量用于保存原始数据 历史检查点及生成内容保障系统长期运行与数据安全[2] - HBM与DRAM提供即时高性能支撑 SSD保证快速可用数据 HDD保障容量与可靠性 构建从高速临时访问到长期存储的完整生态[2] 技术升级推动效率提升 - 高带宽与大容量内存可降低访问延迟提升并行效率 月之暗面Mooncake通过存储资源重构实现计算效率跃迁[3] - AMD MI400升级为MRDIMM模组 华为UCM推理记忆数据管理器实现智能调度 共同支撑复杂模型在高性能推理场景的应用[3] - Vera Rubin CPX NVL144机柜新增GDDR7 进一步强化内存带宽和容量以应对超长序列和多模态数据处理需求[3]