NAND,也要迎来HBM时刻?
半导体行业观察·2025-03-01 08:57
如果您希望可以时常见面,欢迎标星收藏哦~ NAND厂商可能是AI热潮里最被忽视的角色之一。 不同于DRAM厂商有HBM这柄大杀器,NAND在AI方面的增长其实非常有限。 首先是AI计算对于对DRAM需求远大于NAND,AI大模型训练(如GPT-4、Gemini)需要巨量的参 数和中间计算数据,需要超高带宽和低延迟的存储。DRAM(特别是HBM)可以提供高达1TB/s以 上的带宽,而NAND(即使是PCIe 5.0 SSD)带宽只有7~14GB/s,延迟高达几十微秒,完全无法满 足AI计算核心需求。 而且AI芯片通常会直接封装HBM,而NAND只是AI服务器的二级存储,并非AI计算核心组件,这使 得DRAM(尤其是HBM)成为AI计算的刚需,而NAND仅是数据存储的附属需求,导致前者利润远 大于后者。 其次,在训练端,NAND主要用于存储数据,而不是计算加速。AI数据中心使用的 SSD主要是存储 AI训练数据集(如LLM训练的语料、图片、视频),但训练本身并不需要高频访问这些数据,一旦 数据加载到GPU DRAM(HBM或GDDR),NAND的作用就大幅降低,不像DRAM那样被不断访 问。 2024年8月,Tr ...