Jalapeño
搜索文档
背刺英伟达?OpenAI甩出新“武器”!
格隆汇· 2026-08-26 12:08
OpenAI自研推理芯片Jalapeño性能与战略分析 - OpenAI首颗自研推理芯片Jalapeño在Hot Chips大会上公布实测成绩,在吞吐、能效、延迟三项指标上全面反超英伟达GB200与GB300 [1] - 单用户出词速度Jalapeño每秒1459个Token,GB200为535个 [1] - 跑完同一任务Jalapeño用时1.65秒,GB300用时5.99秒 [1] - 标称功耗Jalapeño为700瓦对GB300的1400瓦,实测持续功耗压在550瓦以内 [1] - 测试覆盖GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三款公开模型 [1] - 每瓦AI工作负载提升1.5至1.9倍,端到端延迟降低1.7至3.6倍,高度交互式负载下优势扩大到2.1至4.1倍 [1] - 从设计到流片仅用9个月,业内常见周期为18到36个月 [1] - 著名半导体分析师Dylan Patel称“被掀翻的不只是Blackwell,就连英伟达Rubin芯片也被超越了” [1] 芯片设计、规格与成本 - 设计秘诀是将自家最强模型GPT-Astra(外界传的GPT-6)和Codex用于流片室,AI辅助设计让SIMD单元面积减少8%、矩阵引擎面积减少10% [2] - 在注意力与MoE模块上,AI生成的代码跑得比人类顶尖专家快1.5到1.8倍 [2] - 主计算die约840平方毫米,距EUV掩模版极限858平方毫米只差18平方毫米 [2] - 配6颗HBM4、共216GiB、15.4TB/s,每瓦HBM带宽22,第二名Rubin是11.1,GB300只有5.71 [2] - SemiAnalysis估算每芯片每小时总拥有成本1.56美元,与H100的1.55美元几乎持平,Vera Rubin是3.61美元 [2] - 与博通合作,两家去年10月签下10GW定制加速器大单 [2] - 量产2027年逐步爬坡,下一里程碑是100兆瓦,Gen2已在深度开发、Gen3正在成形,2026年底先部署进OpenAI自己的数据中心 [2] - SemiAnalysis判断“CUDA的护城河可能已经死了” [2] 英伟达竞争与合作关系 - 英伟达Rubin比Jalapeño早一个月完成CoWoS流片,但外界仅看到CoreWeave工程样片数据,英伟达未像OpenAI那样让第三方随意测试 [3] - 8月17日,英伟达同意为OpenAI俄亥俄州数据中心园区提供最高1050亿美元融资 [3] - OpenAI承诺2026年下半年部署首批1吉瓦英伟达Vera Rubin系统 [3] - OpenAI芯片负责人Richard Ho表示“英伟达是很好的合作伙伴,我们仍需要大量英伟达芯片” [3] - 英伟达财报前夜公布此消息,焦点包括Blackwell放量、Rubin进展及OpenAI算力承诺的会计处理 [4]
OpenAI自研芯片Jalapeño跑赢英伟达GB300,最大卖点是高吞吐、低延迟
金十数据· 2026-08-26 11:17
核心观点 - OpenAI自研推理芯片Jalapeño在特定基准测试中性能功耗比和响应速度超越英伟达GB300,但该芯片仅用于推理,不涉及训练,且未与英伟达最新一代Vera Rubin对比,因此不构成对英伟达的全面替代[1][2][4] 芯片性能与测试结果 - Jalapeño在SemiAnalysis的InferenceX基准测试中,对比英伟达GB300,在每名用户Token生成速度和每千瓦吞吐量两项指标上取得领先[2] - 在DeepSeek R1模型上,并发量为1时,Jalapeño每名用户生成速度超过700 Token/秒[2] - Jalapeño在几乎所有测试场景中的性能功耗比都超过GB300,且未使用多Token预测(MTP),而对比芯片使用了各自表现最好的配置并启用MTP[2] - 测试覆盖了OpenAI自身较小的开放模型、DeepSeek和Moonshot AI的第三方模型,其中在Kimi模型上的优势更明显[2] - 内部测试中,Jalapeño运行了尚未发布的大型先进模型,公司认为随着工作负载变大变复杂,该设计的价值可能进一步提升[3] 功耗与成本优势 - Jalapeño在约700瓦功耗下取得较强性能,电力是大型AI数据中心的重要成本来源[3] - OpenAI硬件负责人Richard Ho表示,随着Jalapeño扩大部署,应会大幅降低成本,公司希望通过更低的单位推理成本支撑不断增加的模型调用和用户需求[3] - 芯片专门优化了Prefill和通信阶段,以减少数据移动和通信延迟,模型状态(包括KV Cache)被明确放置并尽量保留在本地[3] 芯片定位与设计特点 - Jalapeño由OpenAI与博通合作开发,从2024年年中开始组建团队和推进设计,到完成流片约用了16个月[1] - SemiAnalysis认为Jalapeño是一款通用推理处理器,可运行不同模型和工作负载,优势来自软硬件协同,而非对单一推理环节的极端优化[4] - 芯片目前只面向推理(Inference),不负责大模型训练,训练仍是英伟达GPU的重要优势领域[1][4] - OpenAI并未将Jalapeño包装成“英伟达杀手”,公司硬件负责人明确表示英伟达是很好的合作伙伴,仍需要大量英伟达芯片[1] 部署计划与供应商策略 - Richard Ho预计Jalapeño将在2026年底以“非常小的规模”开始部署,更大规模使用要到2027年,届时英伟达产品可能已进一步迭代[4] - OpenAI不会停止使用其他推理芯片供应商,部分模型仍使用Cerebras Systems的技术[5] - Richard Ho表示Jalapeño能处理更大模型,但短期内不会取代Cerebras,因为公司对算力需求巨大,已签下多个不同供应商[5] 芯片迭代与长期规划 - Jalapeño不是一次性项目,OpenAI计划将其发展为多代际平台,让模型、芯片、内存和AI产品共同演进[5] - 公司使用自身AI模型参与芯片开发,以加快设计流程[5] - 第二代芯片已进入较深入开发阶段,预计将在“未来几个月”完成流片,第三代产品的概念设计也已启动[5]
OpenAI「掀桌」:自研推理芯片「墨西哥辣椒」跑赢英伟达
36氪· 2026-08-26 07:56
核心观点 OpenAI发布首款自研推理芯片Jalapeño,该芯片专为大语言模型推理设计,在吞吐量、延迟和能效上超越NVIDIA GB200/GB300系统,并适配多厂商模型,标志着OpenAI打通“模型-软件-芯片-数据中心”全链路 芯片发布与定位 - OpenAI公布首款自研推理芯片Jalapeño测试结果,该芯片专为大语言模型推理设计,通过全新架构同时提升吞吐量并降低延迟[1] - OpenAI CEO Sam Altman在X上表示“我们制造了一款芯片,它的速度很快”[2] - Jalapeño并非用于训练下一代GPT模型,而是针对模型上线后的运行阶段进行优化,解决模型快速回答用户请求的推理问题[2] - 传统硬件系统需在吞吐量和延迟间取舍,Jalapeño目标是在一个架构中同时优化两者[2] 性能表现与对比 - 在多个大模型推理测试中,Jalapeño优于NVIDIA GB200和GB300系统,测试模型包括OpenAI GPT-OSS 120B、DeepSeek R1 670B、Moonshot AI Kimi K2.5 1T[2] - 在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T上,Jalapeño峰值每瓦吞吐量分别达到现有最佳系统的1.9倍、1.7倍和1.5倍[8] - 在Kimi K2.5 1T上,Jalapeño端到端延迟降低约3.4倍[9] - 在Kimi K2.5 1T上,随单用户解码速度提高,Jalapeño相比GB300的每瓦吞吐量优势从峰值1.5倍扩大至最高56.1倍[10] - 以DeepSeek R1为例,在对比系统此前最佳TBT对应条件下,Jalapeño每千瓦吞吐量达到12,258 mixed TPS/kW,对比GB300的118,相差约104.3倍[10] - 在DeepSeek R1 670B上,Jalapeño峰值每瓦吞吐量约为GB300的1.7倍,在相同解码速度下优势最高扩大至104.3倍[11] - 在三个公开模型上,Jalapeño在峰值吞吐量下实现1.5~1.9倍的每瓦AI工作量,端到端延迟降低至对比系统的1/1.7~1/3.6,高度交互式工作负载性能优势达2.1~4.1倍[7] - Jalapeño额定功耗700W,测试中实际持续功耗始终保持在550W或以下[13] - 使用SemiAnalysis公开基准InferenceX测试,Jalapeño在三个公开模型上实现更好的每瓦性能和延迟组合,位于Pareto frontier[11][12][13] 适配性与合作 - Jalapeño并非只针对OpenAI自家模型优化,能够适配不同大模型工作负载,测试包括DeepSeek R1和Kimi K2.5[3] - 在硬件上与Cerebras进行深度合作,利用其独特硬件架构[4] - OpenAI表示未来合作将进一步推动“超快速”体验的边界[4] 设计理念与Agent优化 - Jalapeño围绕现在及未来大语言模型,尤其是交互式Agent设计[14] - LLM推理不同阶段有不同瓶颈:Prefill更依赖计算能力,Decode更受内存带宽限制,核心和芯片间数据移动增加延迟[14] - OpenAI将芯片、内存、网络、软件和机架级系统协同设计,包括KV Cache在内的模型状态被明确放置并尽可能留在本地[14] - Agent工作负载需要连续完成多个步骤,一次请求中看似不大的延迟会在整个任务执行过程中不断累积[10] AI辅助芯片开发 - 借助不同阶段模型,OpenAI团队从最初设计到Tape-out只用了9个月[15] - 模型被用于探索不同实现、缩短设计、测量和验证周期,还参与优化芯片算术电路[15] - 使用GPT-Astra驱动的Codex,团队只用了2个月就让三款原本不在初始生产计划中的开放权重模型实现高性能运行[15] - 在部分GPT-OSS Attention和MoE模块中,Codex生成实现比原有人类专家手写版本快1.5~1.8倍[15] 部署计划与后续产品 - OpenAI计划在2026年底前开始将Jalapeño部署到自有计算基础设施中[16] - 团队正在进行生产验证、完善软件、为大规模运行做准备,并继续在更多模型上验证性能[16] - Gen 2已进入深度开发阶段,Gen 3也开始成形[16] - OpenAI将Jalapeño效率变化总结为三档:Ultra-fast模式达到过去Fast模式效率,Fast模式达到过去Batch模式效率,Batch模式进一步提高效率[16] 行业背景与战略 - OpenAI正在尝试打通“模型—软件—芯片—数据中心”一整条链路[4] - 多家AI大厂已纷纷下场造芯:Google推出TPU,Amazon开发Trainium、Inferentia,Microsoft推进Maia,Meta布局自研AI加速器[6] - 通用GPU足够灵活但非针对所有AI工作负载优化,自研芯片有机会进一步降低成本[6] - OpenAI明确表示自研芯片并不意味着摆脱NVIDIA,仍将继续大规模部署NVIDIA和其他合作伙伴的加速器,覆盖训练和推理工作负载[16]
突发!OpenAI「掀桌」:自研推理芯片「墨西哥辣椒」跑赢英伟达
机器之心· 2026-08-26 07:14
文章核心观点 OpenAI发布首款自研推理芯片Jalapeño,该芯片专为大语言模型推理设计,在能效和延迟方面超越NVIDIA GB200/GB300系统,并计划于2026年底部署,同时OpenAI将继续与NVIDIA合作 OpenAI自研推理芯片Jalapeño性能突破 - OpenAI公布首款自研推理芯片Jalapeño测试结果,专为大语言模型推理设计,通过全新架构同时提升吞吐量并降低延迟[2] - Jalapeño并非用于训练下一代GPT模型,而是针对模型上线后的运行阶段进行优化[5] - 传统硬件系统需在更高吞吐量和更低延迟之间取舍,Jalapeño目标是在一个架构中同时优化两者[6][7] - 在多个大模型推理测试中,Jalapeño优于NVIDIA GB200和GB300系统,测试模型包括OpenAI GPT-OSS 120B、DeepSeek R1 670B、Moonshot AI Kimi K2.5 1T[7] - Jalapeño可适配不同大模型工作负载,并非只针对OpenAI自家模型优化[10] - OpenAI在硬件上与Cerebras进行合作[10][11] Jalapeño能效与延迟优势 - Jalapeño核心优势是在相同功耗下完成更多AI工作,同时更快返回响应[16] - 在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T上,Jalapeño在峰值吞吐量下实现1.5~1.9倍的每瓦AI工作量,端到端延迟降低至对比系统的1/1.7~1/3.6[17] - 对于高度交互式工作负载,性能优势达到2.1~4.1倍[17] - 在GPT-OSS 120B上,峰值每瓦吞吐量达到现有最佳系统的1.9倍[19] - 在DeepSeek R1 670B上,峰值每瓦吞吐量达到现有最佳系统的1.7倍[19] - 在Kimi K2.5 1T上,峰值每瓦吞吐量达到现有最佳系统的1.5倍,端到端延迟降低约3.4倍[19][20] - 在Kimi K2.5 1T上,随单用户解码速度提高,Jalapeño相比GB300的每瓦吞吐量优势从峰值1.5倍扩大至最高56.1倍[22] - 以DeepSeek R1为例,在对比系统此前最佳TBT对应条件下,Jalapeño每千瓦吞吐量达到12,258 mixed TPS/kW,对比GB300的118,相差约104.3倍[24] - 在DeepSeek R1 670B上,峰值每瓦吞吐量约为GB300的1.7倍,在相同解码速度下优势最高扩大至104.3倍[26] - Jalapeño额定功耗为700W,实际持续功耗始终保持在550W或以下[29] Jalapeño为Agent工作负载设计 - Jalapeño围绕现在及未来大语言模型,尤其是交互式Agent设计[31] - OpenAI将芯片、内存、网络、软件和机架级系统协同设计,让Jalapeño同时适应Prefill和Decode[32] - AI直接参与了Jalapeño芯片开发,从最初设计到流片设计定稿只用了9个月[33] - 使用GPT-Astra驱动的Codex,团队只用了2个月让三款开放权重模型实现高性能运行[33] - 在部分GPT-OSS Attention和MoE模块中,Codex生成实现比原有人类专家手写版本快1.5~1.8倍[34] 部署计划与行业背景 - OpenAI计划在2026年底前开始将Jalapeño部署到自身计算基础设施中[36] - Gen 2已进入深度开发阶段,Gen 3也开始成形[37] - OpenAI将Jalapeño效率变化总结为Ultra-fast、Fast、Batch三个档位[37] - OpenAI明确表示将继续大规模部署NVIDIA和其他合作伙伴的加速器,覆盖训练和推理工作负载[38] - 多家AI公司已下场造芯,包括Google TPU、Amazon Trainium/Inferentia、Microsoft Maia、Meta自研AI加速器[14]
Wall Street Lunch: OpenAI's JalapeñO Tops Nvidia's Blackwell In Some Inference Tests
Seeking Alpha· 2026-08-26 02:11
OpenAI与Broadcom合作芯片 - OpenAI与Broadcom合作研发的推理芯片Jalapeño,在部分测试场景中性能超越Nvidia的Blackwell [3] - 在SemiAnalysis的InferenceX基准测试中,Jalapeño在几乎所有场景下的每瓦性能均优于Blackwell,在低延迟和高吞吐场景均表现优异,单token预测结果击败所有竞争对手 [4] - SemiAnalysis指出该对比“不完整且不公平”,因Jalapeño实际对标的是Nvidia采用HBM4的下一代加速器Rubin,而Blackwell使用HBM3e [4] - Vera Rubin系统已开始向客户发货,而Jalapeño仍处于工程样品阶段 [5] - OpenAI利用自身模型加速了Jalapeño的开发与优化 [3] Dick's Sporting Goods业绩 - Dick's Sporting Goods因Q2财报不及预期并发布谨慎全年展望,股价暴跌 [5] - 董事长Ed Stack表示,运动鞋服市场促销活动加剧,公司为保持竞争力采取降价措施 [6] - 促销环境对Foot Locker业务影响更大,因其更依赖传统鞋款和复古产品 [6] 迪士尼裁员计划 - Walt Disney向符合条件的资深高管提供自愿提前退休计划,以降低成本并重组员工队伍 [6] - 该限时计划面向总监及以上级别员工,覆盖迪士尼娱乐、ESPN及企业职能部门的美国高管 [7] AMD评级上调 - AMD股价上涨,因Raymond James将评级从跑赢大盘上调至强力买入,认为代理型AI是CPU市场的主要新增长引擎 [7] 斯坦利·德鲁肯米勒批评国债回购 - 亿万富翁投资者Stanley Druckenmiller批评美国财政部将长期债券回购规模翻倍的计划 [7] - 德鲁肯米勒在《华尔街日报》评论文章中称“政府为捍卫价格而对抗基本面总是失败”,并指出非常规时机和规模的回购信号可能无限扩大 [8] - 他认为每基点人为收益率压制都是对拖延的补贴,会掩盖利息成本并削弱紧迫感 [8] - 德鲁肯米勒确认该评论文章由AI撰写,并称现在所有写作均使用AI [8][9] 美联航新增航线 - United Airlines新增10条飞往全球城市的直飞航班,巩固其作为国际目的地最多的传统航司地位 [9] - 大部分航班从纽瓦克枢纽出发,新增航线包括卢森堡市、马赛、伊维萨、瓦伦西亚、特塞拉、卢布尔雅那、奥尔比亚和卡塔尼亚 [10] - 其他新航线包括旧金山至冲绳、华盛顿杜勒斯至图卢兹,美联航押注小众城市将吸引寻求替代欧洲主要旅游目的地的游客 [10]
OpenAI's Jalapeño chip is built for fast inference at scale, benchmarks show
TechCrunch· 2026-08-25 22:22
核心观点 - OpenAI在Hot Chips会议上公布了其自研推理芯片Jalapeño的详细信息和首批基准测试结果,该芯片在性能和能效上显著超越当前最先进的英伟达Blackwell系统 [1][2] 产品性能与部署 - 在SemiAnalysis的InferenceX基准测试中,Jalapeño实现了比当前最先进推理处理器更高的每用户token数和每千瓦吞吐量 [1] - OpenAI硬件负责人Richard Ho表示,Jalapeño在每单位功耗下可服务更多AI工作,同时响应速度更快,既能高效服务大量客户,也能实现极低延迟 [2] - 该对比对象为英伟达Blackwell系统,但到Jalapeño全面部署时,竞争对手可能已大幅进步 [2] - Ho估计Jalapeño将在2026年底以“非常小的规模”部署,更显著的部署将在2027年到来 [2] 开发与合作 - Jalapeño于去年10月首次公布,由OpenAI与博通紧密合作开发,OpenAI自身的模型也参与了开发过程 [3] - OpenAI计划将Jalapeño打造为多代际平台,使AI产品、模型、芯片和内存能够协同开发 [3] 技术架构与优化 - 凭借全栈方法,OpenAI能够解决推理过程中常导致瓶颈的特定阶段,特别是预填充和通信阶段 [4] - Jalapeño的设计旨在最小化数据移动和通信延迟,使模型状态(包括生成响应时使用的KV缓存)能够被明确放置并保持本地化,同时系统为每个推理阶段激活正确的计算、内存和网络组合 [5]