好的，作为一名拥有10年投资银行从业经验的资深研究分析师，我已仔细研读这份电话会议记录（实为一份深度行业研究报告），现根据您的要求，总结关键要点如下。 行业与公司 * **行业**：AI半导体与计算架构行业，特别是面向深度学习训练与推理的加速器领域[1][5]。 * **涉及公司**： * **Cerebras**：晶圆级芯片公司，2026年5月以超过560亿美元估值上市，并与OpenAI签署了部署750兆瓦晶圆级系统的多年协议[1][2]。 * **SambaNova**：数据流加速器公司，其编译器负责将模型映射到空间计算架构上[43][46]。 * **Groq**：数据流加速器公司，其编译器将模型转化为精确的时间表，实现确定性延迟[47][50]。 * **NVIDIA**：GPU巨头，其Hopper和Blackwell架构逐步引入数据流机制，如张量内存加速器（TMA）和第五代Tensor Core[78][79]。 * **Google**：TPU设计者，其第八代TPU（8t和8i）针对训练和推理进行了差异化设计，8i采用了名为BoardFly的DragonFly启发式拓扑[94][96]。 * **Etched**：前沿推理集群公司，其产品是系统级解决方案，而非单一芯片[109]。 * **Taalas**：将单个模型转化为定制硅片的公司，2026年8月被AMD收购[110][112]。 * **AMD**：收购了Taalas，意图可能在于其芯片或快速将模型转化为硅片的设计方法论[113][114]。 核心观点与论据 * **核心观点：2026年是“数据流之年”**。过去几年硬件领域最重大的进展（如FlashAttention、巨型内核、BoardFly TPU、Taalas、极致协同设计）都向数据流架构汇聚[1]。 * **数据流架构的驱动力**： * **计算与内存的边界成本**：计算速度持续提升，但数据供给环节停滞不前，跨越两者边界的成本成为设计核心难题[3][5]。Cerebras的晶圆级方案正是为了解决芯片边界问题[1]。 * **从训练到推理的转变**：2017年构建加速器的动力是深度学习，2026年则变为推理[5]。推理工作负载（如自回归解码）具有高度可预测的计算图，但状态（如KV缓存）是动态的，这要求系统围绕生产者-消费者依赖关系进行优化[6][69][70]。 * **“接缝”概念**：报告引入“接缝”来描述跨越物理边界（如内存层级、算子间、芯片间、机架间）的生产者-消费者边缘[19]。系统需为每个接缝决定数值的放置、移动和消费时机[19]。 * **四种架构，四种“税收”**：2016年后的数据流加速器各自针对传统机器的不同开销进行优化[36][37]： * **TPU**：通过脉动阵列固化内层循环，消除稠密矩阵乘法内部的操作数移动开销（S1级别）[38][41][42]。 * **SambaNova**：通过编译器负责跨算子的流水线，实现跨算子局部性和重叠执行，将物理布局纳入编译（S3级别）[43][46]。 * **Groq**：通过编译器精确调度计算、内存访问和芯片间通信，消除运行时的时间不确定性（S3级别）[47][50]。 * **Cerebras**：通过晶圆级引擎将芯片间通信转化为晶圆内短距离移动，消除封装和网络距离（S4级别）[51][55][56]。 * **推理时代的优化目标变化**：推理优化目标从训练时代的灵活性和总吞吐量，转变为首字延迟、逐字延迟、尾部延迟、单位美元代币数和单位瓦特代币数[68][69]。 * **数据流向GPU内部渗透**：NVIDIA的Hopper和Blackwell架构通过TMA、异步Tensor Core操作等，将数据移动和张量执行转变为显式的生产者-消费者流水线[77][78]。软件层面，如TileRT，将LLM算子分解为分片级任务，在多GPU间统一调度计算、I/O和通信，将解码图编译为单个持久化巨型内核[82][83]。 * **网络层面的数据流**：NVIDIA的SHARP技术将部分集合通信操作（如all-reduce）的执行从GPU转移到交换机内部，NVLink 6进一步扩展此功能[85][86]。 * **系统级设计边界扩展**：设计边界已从单一芯片扩展到机架和建筑层面。NVIDIA的Vera Rubin DSX参考架构将计算、网络、存储、电力、冷却等视为一个协同设计的系统[87]。 * **异构计算与解耦**：为满足不同阶段（Prefill、Decode、MoE）的物理需求，系统开始采用异构处理器。例如，NVIDIA的Vera Rubin平台将Prefill和Decode Attention分配给Rubin GPU，将延迟敏感的FFN和MoE专家执行分配给LPX系统（基于Groq的LPU），实现了“Attention-FFN解耦”[92][93][99][101]。 * **Google TPU 8i的取舍**：TPU 8i为推理优化，其FP4峰值吞吐量（10.1 PFLOPs）低于8t（12.6 PFLOPs），但拥有更大的HBM（288 GB vs 216 GB）和片上SRAM（384 MB），并增加了专用集合通信加速引擎，用算力换取了内存和通信能力[96][98]。 * **数据流的边界**：并非所有接缝都应被拉入机器内部，更紧密的耦合提升局部性但牺牲灵活性[116][119]。Cerebras刻意保留了S2接缝（权重存储在外部MemoryX设备），SambaNova为适应生产环境也放弃了部分静态效率[59][76][119]。 其他重要但可能被忽略的内容 * **Cerebras的局限性**：尽管Cerebras在芯片间通信上最为激进，但其WSE-3仅有约44 GB的片上SRAM，不足以容纳前沿模型的权重，因此权重必须存储在外部MemoryX设备中，保留了S2式的接缝[57][59]。 * **SambaNova的实践经验**：报告作者在SambaNova的经历表明，空间布局与布线在处理静态形状时效果最佳，但生产推理中的动态性（如序列长度、批次大小变化）迫使公司转向动态张量，将更多调度工作移入运行时，以牺牲静态效率换取适应性[73][74][76]。 * **AMD收购Taalas的深层解读**：AMD收购Taalas的意图可能不在于其芯片本身，而在于其“设计方法论”——一种能在约两个月内将训练好的模型转化为流片硅片的编译器技术[113][114]。 * **NVIDIA与Groq的合作模式**：NVIDIA并未收购Groq公司，而是接收了其团队、资产和许可[115]。 * **Google与NVIDIA独立选择相同拓扑**：Google为TPU 8i选择了DragonFly启发式拓扑（BoardFly），而NVIDIA的LPX系统内部也采用了DragonFly拓扑，这表明工作负载本身（MoE的all-to-all通信）驱动了架构选择[96][104][106]。 * **系列文章预告**：该报告是一个系列文章的开篇，后续将分别深入探讨GPU（S2）、编程模型（S3）以及数据流的停止条件等主题[121][122]。