文章核心观点 - GPU及大型AI芯片面临内存容量与带宽瓶颈，当前高带宽内存技术因散热和物理限制难以满足未来需求，业界正在探索侧向堆叠等新型3.5D集成方案以突破限制 [2][4][5] - 韩国研究团队提出的V-Die方案通过垂直放置DRAM芯片、采用微流体冷却和增加I/O密度，在性能、散热和容量扩展性上相比现有HBM4技术有显著提升 [7][13][14] - 日本研究团队提出的MOSAIC方案通过电感耦合和侧向供电连接，旨在实现更高的存储容量，同时将温升控制在可接受范围内 [10][11] - 新型内存架构的核心优势在于通过重新利用三维空间、改进互连与散热设计，从根本上解决HBM在带宽密度、容量扩展和热设计功耗方面的局限性 [16][22][24] 高带宽内存的现状与挑战 - 当前AI加速器使用高带宽内存，典型配置如Nvidia B300，两侧各有8个HBM堆叠，每个堆叠由12个芯片组成，提供36GB内存，HBM4目标数据传输速率达每秒2800GB [4] - HBM采用多层DRAM芯片垂直堆叠于基板上，通过硅通孔传输数据和电力，但此结构导致散热困难，填充材料热阻高约100倍，阻碍热量散发 [4][5] - 随着AI模型规模爆炸式增长，内存容量和带宽难以跟上，形成巨大瓶颈，同时堆叠更多芯片以增加容量会加剧散热问题并因占用更多硅通孔面积而牺牲存储密度 [4][5] V-Die 内存方案详解 - V-Die方案将DRAM芯片垂直堆叠，芯片间集成微流体冷却通道，可将工作温度保持在45°C左右，远低于HBM通常超过80°C的峰值温度 [7][22] - 该架构无需硅通孔和基底芯片，每个芯片拥有独立I/O系统，通过20微米间距的连接点与GPU衬底相连，连接点数量是HBM4的4倍，达8192个 [7][16][22] - 模拟测试显示，在运行GPT-3规模模型时，V-Die系统每秒可处理540个token，而同等内存的HBM4系统为296个token，处理延迟降低32%至约24毫秒，读取延迟降低37.2% [7][18] - 电气性能测试表明，其互连通道在11毫米线长下仍符合JEDEC HBM4标准，眼图性能达标，系统级评估显示其解码吞吐量比HBM4提高1.82倍，并能将长上下文下的吞吐量下降幅度从53.6%改善至24.8% [17][20] MOSAIC 内存方案详解 - MOSAIC方案由日本团队提出，采用电感耦合收发器进行非接触式数据连接，线圈尺寸约80微米×240微米，为芯片在基板上的放置提供了容错空间 [10] - 该设计将内存立方体置于GPU顶部，一个立方体包含98个芯片，提供294GB容量，电源连接位于立方体侧面，其峰值温度预计为81.3°C，接近当前80°C的上限 [11] - 通过将DRAM芯片厚度减少三分之二至100微米，可在相同体积内集成294个芯片，实现882GB的容量 [12] 新型架构的技术优势总结 - 在集成方式上，V-Die等方案将芯片从水平堆叠改为垂直或侧向放置，显著扩大了可用于布线和散热的表面积 [14][22] - 在I/O与带宽方面，通过消除TSV限制并使用细间距凸点，V-Die的I/O总数可达HBM4的4倍，带宽提升与芯片数量成比例扩展，峰值带宽可达HBM4的4.01倍 [16][18][22] - 在热管理方面，V-Die通过直接液冷和扩大的冷却表面，将最高温度从HBM4的90°C大幅降至45°C，解决了垂直堆叠的热量积聚问题 [21][22] - 在系统可扩展性上，新架构支持模块化扩展内存容量，克服了传统HBM受堆叠层数限制的问题 [22][24]