核心观点 - AI芯片正从“训练驱动”转向“推理驱动”，GPU统治地位出现裂缝，推理时代对低延迟、高内存带宽和能效比提出新需求，而“内存墙”成为主要瓶颈[1][2][3] - 存算一体技术，特别是基于SRAM的3D-CIM架构，被视为打破冯·诺依曼架构“内存墙”的关键路径，国内厂商如微纳核芯在此赛道处于领先地位[9][10][14][15] AI芯片从训练到推理的范式转变 - 训练阶段GPU凭借并行计算架构、CUDA生态和极致算力需求占据主导，但推理阶段参数固定，瓶颈从计算量转向内存带宽，芯片需追求低延迟和瞬时响应[1][2][3] - 推理包含Prefill（预填充）和Decode（解码）两个子阶段，Prefill将输入转为数学向量存入KV Cache，Decode利用KV Cache和权重参数逐词预测[2] - 推理芯片更看重片上缓存（SRAM）大小和显存吞吐速度，而非原始算力，同时极度关注能效比和成本，通过低精度量化实现单次任务运行成本最优[3] 英伟达LPU与谷歌TPU 8i的应对策略 - 英伟达推出LPU架构，利用扁平SRAM网格取代HBM，无需片外内存访问，每兆瓦推理吞吐量比基于HBM的GPU高出35倍，但牺牲空间导致撞上“网络瓶颈”[3][6] - 谷歌推出TPU 8i，大幅增加SRAM容量以在硅片上容纳更大KV Cache，减少长上下文解码期间内核空闲时间，但受限于“物理极限”[3][6] - 两种方案均未跳出冯·诺依曼架构，计算与存储分离，片上SRAM容量有限，大模型参数仍需外部DRAM[9] “内存墙”的本质与现有技术路径 - “内存墙”指处理器性能提升速度远快于主存储器访问速度，导致CPU需空转等待数据，形成系统效率瓶颈[8] - 现有跨越“内存墙”的技术路径包括：增加多级缓存（Cache）、存内计算（CIM）、高带宽技术（如HBM）、新型互连协议（如CXL）[8][9] - 英伟达LPU结合了增加缓存和HBM两种方法，但存储墙仍未打破，存内计算被视为真正的“破墙者”，通过直接在存储单元内集成计算逻辑消除数据搬运功耗[9] 存算一体技术路线与国内厂商进展 - 存算一体基于不同存储介质演化出多条路线，包括易失性存储（SRAM、DRAM）和非易失性存储（MRAM、PCM、RRAM、Flash），SRAM因工艺成熟度高和强鲁棒性逐渐占据优势[12][13] - SRAM存算一体从模拟域计算发展到支持无精度损失的数字域计算，能支持更复杂算法模型[13] - 微纳核芯（成立于2021年，北大团队）深耕SRAM存算一体7年，落地全球首创3D-CIM™架构，通过三维键技术将SRAM计算内核与DRAM存储单元垂直堆叠融合，彻底消除数据搬运开销[13][14] - 3D-CIM™架构破解了“高性能、低功耗、低成本”不可能三角，基于RISC-V的RV-CIM™异构融合架构兼顾AI计算完备性与全栈生态易用性，芯片仅需极低功耗即可高速运行大模型[14] - 微纳核芯已获红杉、小米、联想、兆易创新等头部产业投资，并与国内存储及终端龙头达成深度合作[14] 存算一体对行业格局的重塑意义 - 国内企业在传统冯·诺依曼架构芯片领域与海外差距显著，但在存算一体等新型计算架构上，全球产业处于早期探索阶段，海内外企业站在同一起跑线[12] - 存算一体被视为重写规则的机会，当算力不再稀缺，数据流动效率成为关键，范式迁移之时正是格局重塑之机[15][17] - 联发科天玑9500集成基于SRAM的存算一体NPU，在3~4W功耗区间内推理效率相比天玑9400提升56%，显示该技术已走向商用[10]