报告行业投资评级 - 报告未明确给出行业投资评级 报告核心观点 - AI芯片竞争正从“Chip vs Chip”升级为围绕Training、Reasoning、Low-latency Inference及Recommendation分别优化Compute、Memory、Fabric和Software的Workload-Specific System [1] - ASIC将在规模足够大、模型结构稳定且TCO敏感的Inference市场加速渗透，GPU会通过架构分化继续覆盖Frontier Training和更广泛的通用AI workload [1] - AI Accelerator正沿Workload形成三类差异化架构：Frontier Training、Hyperscale Inference和Enterprise Inference [7] - 对NVIDIA而言，ASIC渗透更可能改变AI Compute的结构和产品Mix，而非短期压缩整体GPU需求 [9] 根据相关目录分别总结 Training与Inference硬件需求分化 - Training与Inference的硬件需求已经明显分化，Inference正在快速变得更加Memory-intensive [2] - TPU 8t面向大规模Pre-training，单芯片216GB HBM、6.5TB/s带宽和12.6PFLOPS FP4，单Superpod扩展至9,600颗芯片 [2] - TPU 8i主动降低峰值Compute至10.1PFLOPS FP4，同时将HBM提高至288GB/8.6TB/s、片上SRAM提高至384MB，并引入Collectives Acceleration Engine和新的Boardfly网络拓扑 [2] - 按单芯片计算，TPU 8i的HBM Capacity/FP4 Compute和Memory Bandwidth/FP4 Compute均较8t高约1.65倍 [2] - Google给出的结果是8t训练Performance/$较Ironwood提升最高2.7倍，而8i低延迟MoE推理Performance/$提升最高80% [2] - Agentic AI时代的Inference瓶颈正在从峰值FLOPS逐步迁移至Memory Capacity、Bandwidth、KV Cache及Collective Latency [2] Hyperscaler ASIC进展 - Hyperscaler ASIC已经越过内部实验阶段，开始直接承接核心生产流量 [3] - Meta MTIA 400开始同时覆盖Recommendation与GenAI，采用8颗HBM3E、约9.4TB/s Memory Bandwidth以及72颗ASIC Scale-up Domain [3] - 相较MTIA 200，MTIA 400的FP16 Compute提升超过15倍、DRAM Bandwidth提升约46倍 [3] - Microsoft Maia 200以Token Economics为设计目标，采用TSMC 3nm、216GB HBM3E/7TB/s和272MB SRAM，在750W功耗下提供超过10PFLOPS FP4 [3] - Maia 200已进入GPT-5.2、Microsoft 365 Copilot等实际负载 [3] - 自研ASIC的核心价值已经从单纯降低芯片采购成本，扩大至围绕内部Model、Compiler和Infrastructure联合优化Token/$ [3] OpenAI Jalapeño ASIC - OpenAI Jalapeño针对LLM Inference从零设计，配备216GB HBM4、15.4TB/s Memory Bandwidth，在700W下提供最高13.4PFLOPS MXFP4 [4] - Jalapeño可由128颗ASIC扩展至单Rack、2,048颗扩展至16-Rack Pod [4] - OpenAI从RTL到Tape-out仅用了约9个月，并利用自身模型参与RTL生成和PPA优化 [4] - AI Lab对Silicon的参与正在从提出Workload需求进一步延伸至Architecture、Compiler乃至RTL开发 [4] - 如果AI辅助芯片设计能够持续缩短Design Cycle，Custom ASIC的迭代节奏有望逐步接近模型和软件迭代周期 [4] GPU路线分层 - Workload-Specific并不局限于ASIC，GPU路线本身也开始明显分层 [5] - AMD MI455X选择432GB HBM4和23.3TB/s Memory Bandwidth，并提供40.3PFLOPS MXFP4，明显强化大模型、长Context和KV Cache所需的Memory Capacity [5] - 72颗MI455X组成的Helios Rack进一步提供31TB HBM4 [5] - Intel Crescent Island采用最高480GB LPDDR5X和350W风冷PCIe形态，核心目标是以更低功耗和更低部署门槛承接Enterprise Agentic Inference [5] - 未来AI Accelerator不会沿着单一“更高FLOPS+更高HBM”的路线演进 [5] 三类差异化架构 - AI Accelerator正沿Workload形成三类差异化架构，Inference的资源配置明显由Compute向Memory和Communication倾斜 [7] - Frontier Training以TPU 8t和AMD MI455X为代表，核心仍是Peak Compute、HBM容量和Rack-scale Fabric [7] - Hyperscale Inference以TPU 8i、MTIA 400、Maia 200和Jalapeño为代表，更强调Memory Bandwidth、On-chip Memory及Scale-up能力 [7] - Enterprise Inference以Intel Crescent Island为代表，通过大容量LPDDR5X、低TDP和标准PCIe形态降低部署成本 [7] - TPU 8i、MTIA 400、Maia 200和Jalapeño的Memory Bandwidth/Peak Compute约为0.69-1.15TB/s per PFLOP/PetaOPS，高于NVIDIA Rubin的0.44、TPU 8t的0.52和MI455X的0.58 [7] Memory架构分化 - Memory和Scale-up Fabric正在成为决定系统性能的共同变量，但不同Workload对应的最优Memory Architecture也开始分化 [8] - TPU 8i、MTIA 400、Maia 200和Jalapeño均显著提高HBM Capacity和Bandwidth，说明高端Hyperscale Inference仍在持续提高HBM content [8] - AMD MI455X同样将单GPU HBM4提高至432GB [8] - Crescent Island选择480GB LPDDR5X，说明并非所有Inference workload都需要HBM的极致Bandwidth [8] - 预计Memory市场会进一步形成分层：HBM继续占据Frontier Training和高性能Inference的高带宽层，LPDDR/CXL等更低成本方案则承接部分Capacity-sensitive workload [8] NVIDIA市场格局 - Google在持续推进TPU的同时仍部署NVIDIA GPU，Meta也同时发展MTIA与外购GPU [9] - Custom ASIC首先承接的是超大规模、重复性高且TCO敏感的内部Inference workload [9] - GPU在Frontier Training、快速变化的模型架构及第三方Cloud workload上仍具备Programmability和Ecosystem优势 [9] - NVIDIA也在通过Groq 3 LPX、Spectrum-X和BlueField等架构向Inference和AI Factory系统层延伸 [9] - 预计AI Compute市场会进一步分层：GPU继续占据Frontier和通用计算平台，ASIC加速进入规模化Inference和垂直工作负载 [9] - 竞争焦点从单芯片峰值性能逐步转向Token/$、Memory efficiency、Fabric utilization和Software integration [9]