Workflow
GenAI内存解决方案
icon
搜索文档
《GenAI的内存解决方案》系列综合报告
Counterpoint Research· 2025-04-03 10:59
GenAI内存解决方案的核心需求 - GenAI应用需要高速、高带宽且低延迟的内存以实时处理海量数据 特别是在推理环节 数据的快速访问对实时决策和预测至关重要 [2] HBM的竞争态势 技术革新与优化 - 传统DRAM因带宽和延迟局限 促使HBM通过硅通孔(TSV)堆叠DRAM成为关键解决方案 [5] - 3D-IC和CoWoS等封装技术进步将应用于智能手机、PC等领域 需在不增加成本与空间的前提下降低延迟和能耗 [5] 厂商动态 - Samsung因测试与封装环节保守、过度关注成本而在HBM领域落后 预计2025年HBM3e改进后出货量或从80-90亿吉比特增至110-120亿吉比特 [6][10] - SK Hynix通过内存单元设计、逻辑电路(IVC)添加等措施满足NVIDIA需求 凭借灵活文化保持领先 [6] - Micron计划2025年直接推出HBM3e 采用1b DRAM单元和SK已验证的键合设备 [10] 中国存储市场的发展 国产化进展 - 中国计划2025年实现HBM3国产化 覆盖GPU制造至OSAT全供应链 但2026年后可能因美国设备管制面临挑战 [10] - CXMT预计2024年占全球DRAM产能13% 2025年产能或接近Micron 但每片晶圆比特产量较竞争对手少42% [11] 成本与机遇 - 中国DRAM成本或不含固定成本时低至$0.20/Gb(韩国为$0.23) 政府支持或助力成本竞争力 [17] - 华为Ascend 920支持HBM2/2e 虽落后于HBM3但通过高效软件在推理领域保持竞争力 [18] 智能手机与GenAI融合 技术趋势 - 智能手机带宽需求短期有限 未来生产力应用或提升需求 但计算主要依赖云端 [15] - 内存内计算(PIM)可能应用于高端手机 通过协议匹配实现更高带宽而不增加功耗 [15] - 苹果或从堆叠封装转向分立封装 提升iPhone Pro Max和折叠手机的带宽 [13][22] 边缘计算与定制HBM 定制化发展 - 定制HBM预计2026年随HBM4显著增长 NVIDIA、Amazon等7-8家IT企业推动其发展 [26] - 两种定制封装方案受关注:HBM直接安装于SoC或在基底芯片增加逻辑功能 [28] - 预计2030年定制HBM或占整体市场的30%-40% 需平衡性能潜力与成本可行性 [29] 行业整体趋势 - 2025-2026年为竞争关键期 中国在设备国产化(如Naura刻蚀机)和供应链布局上短期稳固 [18] - DRAM技术需权衡带宽、延迟等特性与成本时效性挑战 客户与制造商需共同承担创新风险 [22]
《GenAI的内存解决方案》系列综合报告
Counterpoint Research· 2025-04-03 10:59
GenAI内存解决方案的核心需求 - GenAI应用需要高速、高带宽且低延迟的内存以实时处理海量数据 特别在推理环节需快速访问数据以实现实时决策和预测 [2] - 传统DRAM因带宽和延迟局限 需依赖HBM等硅通孔(TSV)堆叠技术满足性能需求 [6] HBM竞争格局与技术趋势 - **三星落后**:因测试/封装环节保守、过度关注成本 未能有效解决客户散热与功耗需求 HBM3e改进计划或使2025年出货量从80-90亿吉比特增至110-120亿吉比特 [7][11] - **SK海力士领先**:通过内存单元设计、逻辑电路(IVC)添加等措施满足NVIDIA功率限制 灵活企业文化推动技术突破 [7] - **美光追赶**:2025年直接进军HBM3e 采用1b DRAM单元及SK验证的键合设备 逻辑电路优化降低电压 [7][8] - **中国布局**:计划2025年实现HBM3国产化 覆盖GPU至OSAT全供应链 但2026年后受美国设备管制或面临制程挑战 [11] 中国存储市场动态 - **DRAM产能**:CXMT 2024年占全球产能13%/出货量6%/收入3.7% 2025年产能或媲美满载 但良率差距显著(DDR5良率<50%) [12] - **成本竞争力**:中国DRAM成本可低至$0.20/Gb(韩国$0.23) 政府支持固定成本 但技术滞后致每晶圆比特产量少42%(2024年) [12][17] - **新兴机遇**:AI+电动汽车推动需求 3D技术及国产设备替代成关键 但设备国产化需1-2年 [12] 智能手机与GenAI融合 - **内存革新**:PIM技术或应用于高端手机 通过协议匹配提升带宽 折叠屏手机缓解空间限制 [15] - **三星策略**:2025年HBM3e改进逻辑电路 出货量或增长37.5% 但面临中国HBM国产化竞争 [11] - **云端分流**:短期内手机带宽需求有限 因计算任务多由云端执行 [15] 定制HBM与未来趋势 - **市场增长**:定制HBM预计占2030年HBM市场30-40% 数据中心定制计算市场规模2028年或达25%(2023年为16%) [28][29] - **技术路径**:直接集成HBM至SoC或基底芯片增加逻辑功能成主流方案 NVIDIA等7-8家IT巨头推动发展 [26][28] - **创新焦点**:需兼顾GPU通信IP、光子技术及SoC兼容性 平衡性能与成本 [28] 边缘计算与行业应用 - **汽车领域**:自动驾驶推动LPDDR使用 HBM4或2027年后应用于汽车 Tesla等厂商需求增长 [22] - **NVIDIA技术**:DIGITS技术结合GPU与HBM 2025年中期提升带宽与信号完整性 但暂不扩展至通用PC [22] DeepSeek的芯片潜力 - **低成本优势**:大语言模型性能接近ChatGPT但成本显著降低 训练效率受政府支持 [13][17] - **硬件适配**:华为Ascend 920支持HBM2/2e 虽落后行业标准 但通过软件优化在推理领域保持竞争力 [18]