Workflow
高通骁龙8GEN3
icon
搜索文档
国泰海通|电子:3D DRAM:开启端侧AI蓝海
DRAM技术发展趋势 - DRAM制程微缩放缓,长远命题在于从2D转向3D架构,混合键合方案改进了Micro bump的堆叠高度限制等问题,代表3D DRAM未来技术路径 [3] - 与Micro Bump堆叠技术相比,混合键合不配置凸块,可容纳较多堆叠层数和较厚的晶粒厚度,改善翘曲问题,芯片传输速度较快且散热效果较好 [3] - 三大HBM原厂已确定于HBM5 20hi世代使用Hybrid Bonding技术 [3] AI端侧技术趋势 - NPU作为协处理器的运用叠加3D DRAM极有可能是下一代的端侧技术趋势 [1][2][4] - 海外硬件大厂在储备能让AI"泛在"与"常开"的技术,小型MoE模型Qwen3-30B-A3B激活10%参数量却能超过满血模型,为端侧应用提供模型基础 [4] - 当前AI端侧推理速度的主要瓶颈在内存带宽而非算力,3D DRAM可解决内存限制问题 [5] 技术性能与案例 - 高通骁龙8GEN3 NPU算力约45 TOPs,内存带宽约67 GB/s,运行7B大模型时内存带宽限制约4.8 tokens/s,远低于计算能力限制的3215 tokens/s [5] - 若采用800 GB/s内存带宽,高通骁龙8GEN3的内存限制将提升至57 tokens/s [5] - 兆易创新、青耘科技、光羽芯成、华邦电、高通等公司均发力3D DRAM+NPU方案 [5] AI模型发展 - AI应用走向百花齐放而非高度范化的统一模型,硬件侧为应用落地酝酿新技术储备 [4] - MOE模型驱动小的大模型发展,小型MoE模型Qwen3-30B-A3B激活参数数量是QwQ-32B的10%,表现更胜一筹 [4]
国泰海通:NPU+3DDRAM或成端侧AI下一代技术趋势 推荐兆易创新(603986.SH)
智通财经网· 2025-05-27 16:23
DRAM技术发展趋势 - DRAM制程微缩放缓,长远命题在于从2D转向3D架构,当前DRAM芯片工艺已突破10nm级别,面临工艺完整性、成本、电容器漏电和干扰等挑战 [1] - 混合键合方案改进了Micro bump的堆叠高度限制,代表3DDRAM未来技术路径,与现有HBM方案相比,混合键合不配置凸块,可容纳较多堆叠层数和较厚晶粒厚度,改善翘曲问题 [1] - 三大HBM原厂已确定于HBM520hi世代使用Hybrid Bonding技术,混合键合方案的芯片传输速度较快且散热效果较好 [1] AI端侧技术路径 - AI端侧推理速度的瓶颈在于内存带宽而非算力,3DDRAM通过混合键合技术可显著提升传输效率,例如800GB/s带宽下高通骁龙8GEN3的推理速度可从4.8 tokens/s跃升至57 tokens/s [1][3] - NPU作为协处理器的运用叠加3DDRAM极有可能是下一代的端侧技术趋势,中国大陆玩家兆易创新及其投资子公司青耘科技、光羽芯成,以及中国台湾存储IDM华邦电、手机AP龙头高通等均发力3DDRAM+NPU方案 [3] AI模型与硬件发展 - AI应用走向百花齐放而非高度范化的统一模型,硬件侧为应用落地酝酿新技术储备,小型MoE模型如Qwen3-30B-A3B激活参数数量是QwQ-32B的10%,表现更胜一筹,为端侧应用提供模型基础 [2] - 海外硬件大厂在储备能让AI"泛在"与"常开"的技术,NPU协处理器与3DDRAM结合是下一代端侧技术趋势 [2] 行业推荐 - 推荐兆易创新(603986 SH),因其在3DDRAM+NPU技术趋势中的布局 [1]
国泰海通|电子:AI手机的离线推理速度取决于内存带宽瓶颈的突破
行业技术瓶颈 - 当前推理速度主要瓶颈在于内存带宽而非算力,NPU+DRAM堆叠后内存带宽呈现数量级提升,技术方案产业趋势明确 [1][2] - 以高通骁龙8GEN3为例,NPU算力约45 TOPs,内存带宽约67 GB/s,运行7B大模型时计算能力限制约3215 tokens/s,内存带宽限制仅4.8 tokens/s,实际推理速度受内存限制更显著 [2] - 小米手机实测Qwen3-8B-MNN模型显示Decode速度为7.04 tokens/s,用户无感体验需达40-50 tokens/s,凸显当前内存带宽不足 [2] 技术解决方案 - 3D DRAM+NPU合封方案可将内存带宽提升至800 GB/s,高通骁龙8GEN3的内存限制瓶颈将从4.8 tokens/s跃升至57 tokens/s [3] - 兆易创新、青耘科技、光羽芯成等中国大陆企业及中国台湾华邦电、高通等国际厂商均布局3D DRAM+NPU技术路线 [3] 产业发展阶段 - 当前硬件发展领先于模型,未来模型爆发将依赖硬件红利,硬件需通过数年稳定性测试才能支持亿级商用 [3] - 手机AI商用爆发窗口预计在2025年底至2026年,具备成熟硬件与模型的企业将获得至少一年红利期 [3] - 高通等手机AP厂商需主动适配AI大模型硬件策略,以避免被端侧GPU技术颠覆的风险 [3]