核心观点 OpenAI发布首款自研推理芯片Jalapeño，该芯片专为大语言模型推理设计，在吞吐量、延迟和能效上超越NVIDIA GB200/GB300系统，并适配多厂商模型，标志着OpenAI打通“模型-软件-芯片-数据中心”全链路 芯片发布与定位 - OpenAI公布首款自研推理芯片Jalapeño测试结果，该芯片专为大语言模型推理设计，通过全新架构同时提升吞吐量并降低延迟[1] - OpenAI CEO Sam Altman在X上表示“我们制造了一款芯片，它的速度很快”[2] - Jalapeño并非用于训练下一代GPT模型，而是针对模型上线后的运行阶段进行优化，解决模型快速回答用户请求的推理问题[2] - 传统硬件系统需在吞吐量和延迟间取舍，Jalapeño目标是在一个架构中同时优化两者[2] 性能表现与对比 - 在多个大模型推理测试中，Jalapeño优于NVIDIA GB200和GB300系统，测试模型包括OpenAI GPT-OSS 120B、DeepSeek R1 670B、Moonshot AI Kimi K2.5 1T[2] - 在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T上，Jalapeño峰值每瓦吞吐量分别达到现有最佳系统的1.9倍、1.7倍和1.5倍[8] - 在Kimi K2.5 1T上，Jalapeño端到端延迟降低约3.4倍[9] - 在Kimi K2.5 1T上，随单用户解码速度提高，Jalapeño相比GB300的每瓦吞吐量优势从峰值1.5倍扩大至最高56.1倍[10] - 以DeepSeek R1为例，在对比系统此前最佳TBT对应条件下，Jalapeño每千瓦吞吐量达到12,258 mixed TPS/kW，对比GB300的118，相差约104.3倍[10] - 在DeepSeek R1 670B上，Jalapeño峰值每瓦吞吐量约为GB300的1.7倍，在相同解码速度下优势最高扩大至104.3倍[11] - 在三个公开模型上，Jalapeño在峰值吞吐量下实现1.5～1.9倍的每瓦AI工作量，端到端延迟降低至对比系统的1/1.7～1/3.6，高度交互式工作负载性能优势达2.1～4.1倍[7] - Jalapeño额定功耗700W，测试中实际持续功耗始终保持在550W或以下[13] - 使用SemiAnalysis公开基准InferenceX测试，Jalapeño在三个公开模型上实现更好的每瓦性能和延迟组合，位于Pareto frontier[11][12][13] 适配性与合作 - Jalapeño并非只针对OpenAI自家模型优化，能够适配不同大模型工作负载，测试包括DeepSeek R1和Kimi K2.5[3] - 在硬件上与Cerebras进行深度合作，利用其独特硬件架构[4] - OpenAI表示未来合作将进一步推动“超快速”体验的边界[4] 设计理念与Agent优化 - Jalapeño围绕现在及未来大语言模型，尤其是交互式Agent设计[14] - LLM推理不同阶段有不同瓶颈：Prefill更依赖计算能力，Decode更受内存带宽限制，核心和芯片间数据移动增加延迟[14] - OpenAI将芯片、内存、网络、软件和机架级系统协同设计，包括KV Cache在内的模型状态被明确放置并尽可能留在本地[14] - Agent工作负载需要连续完成多个步骤，一次请求中看似不大的延迟会在整个任务执行过程中不断累积[10] AI辅助芯片开发 - 借助不同阶段模型，OpenAI团队从最初设计到Tape-out只用了9个月[15] - 模型被用于探索不同实现、缩短设计、测量和验证周期，还参与优化芯片算术电路[15] - 使用GPT-Astra驱动的Codex，团队只用了2个月就让三款原本不在初始生产计划中的开放权重模型实现高性能运行[15] - 在部分GPT-OSS Attention和MoE模块中，Codex生成实现比原有人类专家手写版本快1.5～1.8倍[15] 部署计划与后续产品 - OpenAI计划在2026年底前开始将Jalapeño部署到自有计算基础设施中[16] - 团队正在进行生产验证、完善软件、为大规模运行做准备，并继续在更多模型上验证性能[16] - Gen 2已进入深度开发阶段，Gen 3也开始成形[16] - OpenAI将Jalapeño效率变化总结为三档：Ultra-fast模式达到过去Fast模式效率，Fast模式达到过去Batch模式效率，Batch模式进一步提高效率[16] 行业背景与战略 - OpenAI正在尝试打通“模型—软件—芯片—数据中心”一整条链路[4] - 多家AI大厂已纷纷下场造芯：Google推出TPU，Amazon开发Trainium、Inferentia，Microsoft推进Maia，Meta布局自研AI加速器[6] - 通用GPU足够灵活但非针对所有AI工作负载优化，自研芯片有机会进一步降低成本[6] - OpenAI明确表示自研芯片并不意味着摆脱NVIDIA，仍将继续大规模部署NVIDIA和其他合作伙伴的加速器，覆盖训练和推理工作负载[16]

文章核心观点 OpenAI发布首款自研推理芯片Jalapeño，该芯片专为大语言模型推理设计，在能效和延迟方面超越NVIDIA GB200/GB300系统，并计划于2026年底部署，同时OpenAI将继续与NVIDIA合作 OpenAI自研推理芯片Jalapeño性能突破 - OpenAI公布首款自研推理芯片Jalapeño测试结果，专为大语言模型推理设计，通过全新架构同时提升吞吐量并降低延迟[2] - Jalapeño并非用于训练下一代GPT模型，而是针对模型上线后的运行阶段进行优化[5] - 传统硬件系统需在更高吞吐量和更低延迟之间取舍，Jalapeño目标是在一个架构中同时优化两者[6][7] - 在多个大模型推理测试中，Jalapeño优于NVIDIA GB200和GB300系统，测试模型包括OpenAI GPT-OSS 120B、DeepSeek R1 670B、Moonshot AI Kimi K2.5 1T[7] - Jalapeño可适配不同大模型工作负载，并非只针对OpenAI自家模型优化[10] - OpenAI在硬件上与Cerebras进行合作[10][11] Jalapeño能效与延迟优势 - Jalapeño核心优势是在相同功耗下完成更多AI工作，同时更快返回响应[16] - 在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T上，Jalapeño在峰值吞吐量下实现1.5～1.9倍的每瓦AI工作量，端到端延迟降低至对比系统的1/1.7～1/3.6[17] - 对于高度交互式工作负载，性能优势达到2.1～4.1倍[17] - 在GPT-OSS 120B上，峰值每瓦吞吐量达到现有最佳系统的1.9倍[19] - 在DeepSeek R1 670B上，峰值每瓦吞吐量达到现有最佳系统的1.7倍[19] - 在Kimi K2.5 1T上，峰值每瓦吞吐量达到现有最佳系统的1.5倍，端到端延迟降低约3.4倍[19][20] - 在Kimi K2.5 1T上，随单用户解码速度提高，Jalapeño相比GB300的每瓦吞吐量优势从峰值1.5倍扩大至最高56.1倍[22] - 以DeepSeek R1为例，在对比系统此前最佳TBT对应条件下，Jalapeño每千瓦吞吐量达到12,258 mixed TPS/kW，对比GB300的118，相差约104.3倍[24] - 在DeepSeek R1 670B上，峰值每瓦吞吐量约为GB300的1.7倍，在相同解码速度下优势最高扩大至104.3倍[26] - Jalapeño额定功耗为700W，实际持续功耗始终保持在550W或以下[29] Jalapeño为Agent工作负载设计 - Jalapeño围绕现在及未来大语言模型，尤其是交互式Agent设计[31] - OpenAI将芯片、内存、网络、软件和机架级系统协同设计，让Jalapeño同时适应Prefill和Decode[32] - AI直接参与了Jalapeño芯片开发，从最初设计到流片设计定稿只用了9个月[33] - 使用GPT-Astra驱动的Codex，团队只用了2个月让三款开放权重模型实现高性能运行[33] - 在部分GPT-OSS Attention和MoE模块中，Codex生成实现比原有人类专家手写版本快1.5～1.8倍[34] 部署计划与行业背景 - OpenAI计划在2026年底前开始将Jalapeño部署到自身计算基础设施中[36] - Gen 2已进入深度开发阶段，Gen 3也开始成形[37] - OpenAI将Jalapeño效率变化总结为Ultra-fast、Fast、Batch三个档位[37] - OpenAI明确表示将继续大规模部署NVIDIA和其他合作伙伴的加速器，覆盖训练和推理工作负载[38] - 多家AI公司已下场造芯，包括Google TPU、Amazon Trainium/Inferentia、Microsoft Maia、Meta自研AI加速器[14]