文章核心观点 OpenAI正与三星电子合作设计下一代AI加速器，旨在通过三星的HBM内存和潜在代工能力，解决供应链瓶颈并提升芯片性能，同时其首款自研芯片Jalapeño在推理效率上已显著超越英伟达产品 OpenAI与三星的合作 - OpenAI韩国总经理Harrison Kim宣布与三星电子在下一代芯片的联合生产和研发方面取得最大进展并获得最多认可[2] - 合作可能使三星为OpenAI下一代芯片（代号Habanero）提供全部或至少一部分HBM内存，鉴于当前内存供应短缺，需尽早建立合作关系以确保充足供应[3] - 下一代芯片可能采用速度更快的HBM4E技术，并利用定制基片将内存控制器甚至部分逻辑电路从计算芯片转移到HBM堆栈本身，这与英伟达NVHBM披露的原理相同[3][4] - 即使计算芯片最终由台积电制造，与三星的密切关系也有利于协调定制基础芯片，从而获得供应链优势[5] - 合作可能使OpenAI采用三星的2纳米工艺技术制造下一代芯片，获得台积电之外的替代供应商[5] - 三星是全球第二大芯片代工厂，曾为英伟达、苹果等生产芯片，英伟达Ampere架构显卡大多采用三星8纳米制程[5] - 三星3纳米工艺良率曾遇挑战，但到2026年，包括Rebellions、Tenstorrent和Groq在内的芯片设计公司正在其晶圆厂建造复杂AI加速器，表明三星有能力生产OpenAI下一代芯片[5][6] - Rebellions的Rebel100加速器采用多芯片架构和HBM3E，证明三星完全有能力生产OpenAI下一代芯片，且可能使OpenAI获得比仅从台积电更多的芯片配额[6] OpenAI首款芯片Jalapeño的细节 - Jalapeño是一款专为AI推理设计的定制加速器，适用于交互式和智能体系统背后的低延迟、多芯片工作负载[8] - 核心理念是有效性能不能仅局限于峰值浮点运算或内存带宽，真正重要的是完成整个请求的速度和效率，因此从端到端延迟、令牌间隔时间及每焦耳令牌数评估芯片[8] - 该ASIC芯片在700瓦封装内实现高达13.4 petaflops的MXFP4矩阵计算能力、216 GiB的HBM4显存以及15.4 TB/s的内存带宽[8] - 一个完整的2048芯片系统可达到27 exaflops的MXFP4计算能力、432 TiB的内存容量以及32 PB/s的总带宽[8] - 设计指出仅凭原始规格参数不够，实际令牌读取速率远低于理论值，因为数据移动、同步、通信及延迟到达的操作数会导致计算单元等待[8] - Jalapeño通过空间架构解决瓶颈：每个核心切片与一个HBM切片配对，创建快速高带宽本地内存视图，专用集体网络处理跨核心通信模式，软件显式放置张量并在本地执行计算[9] - 分布式控制避免了独立核心通过集中式资源同步时可能出现的代价高昂的全局屏障[9] - 组织结构反映单个推理请求中不断变化的需求：预填充过程需大量注意力机制且受限于计算能力，推测性草稿模型规模较小且对网络延迟高度敏感，验证和解码结合注意力机制、内存带宽密集型的专家混合执行及突发通信[9] - Jalapeño将状态保持本地化并激活不同资源组合，未使用模块可断电，指导原则是封装内“暗”硅成本低于闲置加速器持续消耗基础HBM、网络、冷却和机架资源的成本[9] - 系统层面，128个芯片构成局部域，多达2048个芯片通过两级Clos网络连接，带宽采用阶梯式分配：张量并行处理占用更高带宽，专家级并行处理占用更少带宽，所有流量受益于低延迟[10][11] - 互连成为计算机的一部分，而不是独立芯片的附属设备[11] Jalapeño的性能表现 - 在公开InferenceX基准测试中，Jalapeño在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T的每瓦性能帕累托前沿均处于领先地位[11] - 与选定的GB200或GB300配置相比，Jalapeño每千瓦峰值吞吐量提高1.5到1.9倍，端到端延迟降低1.7到3.6倍，令牌交互性提高2.1到4.1倍[11] - 在与前一个系统相同的令牌间时间点，Jalapeño效率优势达到8.6到104.3倍[11] - 这些比较使用8000个令牌输入、1000个令牌输出、四位权重、封装TDP归一化及厂商优化软件，Jalapeño使用单令牌预测，而一些基线模型使用多令牌预测[11] 行业影响与战略意义 - 推理正成为人工智能运营成本的主要组成部分，智能体应用在完成用户任务前可能需要反复调用模型，每瓦每秒请求数的提升可转化为更低能耗、更大数据中心容量和更快交互式系统[12] - Jalapeño展现了硬件-软件-人工智能协同设计的价值：OpenAI在九个月内完成从初始RTL到流片的整个过程，利用人工智能优化硬件模块并生成超越专家编写实现的内核[12] - 更广泛意义在于战略层面：模型开发者现在可根据实际工作负载定制芯片，缩短算法、编译器、架构和部署之间的周期，使前沿智能部署更具成本效益[12]