核心观点 OpenAI自主研发的Jalapeno推理芯片在性能测试中全面超越英伟达现有产品线,通过单位功耗处理能力和响应速度的双重优势,有望大幅降低AI基础设施成本,并计划于2025年底前部署 芯片性能与测试结果 - Jalapeno在峰值吞吐量下每瓦AI工作量是对比系统的1.5到1.9倍,端到端延迟降低1.7到3.6倍,高交互性工作负载性能提升2.1到4.1倍[7] - 在GPT-OSS 120B、DeepSeek R1和Kimi K2.5 1T三个公开模型上均表现出色,在最大模型Kimi上每瓦峰值性能高出约1.5倍,端到端延迟降低约3.4倍[9] - 芯片额定功率700瓦,测试中持续功耗保持在550瓦或以下[8] - 内部测试中,Jalapeno在OpenAI前沿模型上的优势进一步扩大,表明架构价值随工作负载规模增长而提升[9] - 芯片在高吞吐量和低延迟领域均表现优异,兼具两者优势[2] 芯片设计与技术特点 - Jalapeno专为AI推理阶段设计,非用于模型训练[2] - 设计围绕减少数据移动和通信延迟,模型状态可显式放置并保存在本地[10][11] - 采用单一架构实现高吞吐量和低延迟,现有硬件通常需在两者间权衡[5] - 网络是架构不可或缺部分,允许整个工作负载保持在一个连接系统内[11] - 人工智能在芯片开发中发挥直接作用,帮助团队在九个月内完成从初始设计到流片[11] - 人工智能生成的实现比人工专家编写的实现快1.5到1.8倍(针对选定模块)[12] 合作伙伴与供应链 - OpenAI与博通公司合作开发Jalapeno处理器[2] - 两家公司去年宣布合作协议,今年6月称该处理器以创纪录速度完成开发[2] - OpenAI仍视英伟达为重要芯片供应商和合作伙伴[5] - 公司将继续广泛部署英伟达及其他合作伙伴的加速器用于训练和推理[15] 成本与部署计划 - 新芯片广泛应用后OpenAI成本将大幅降低[1] - 公司计划年底前开始在计算基础设施中部署Jalapeno[15] - 只要提高产量且成本节约达预期,公司将使用自研芯片处理更多AI任务[1] - 客户可根据需求选择更经济实惠或性能更优的方案[2] - 低电压(700瓦)下强劲性能可帮助数据中心节省电力成本[2] 行业竞争格局 - 英伟达GB300是测试基准系统中的领先者[1] - Etched公司上周宣布融资后估值达210亿美元,已开始出货低电压芯片[4] - MatX公司由两位谷歌芯片前员工创立,研发同时实现高吞吐量和低延迟的半导体[4] - OpenAI短期内不会取代Cerebras等供应商,公司对计算能力需求极大[3] 多代路线图 - Jalapeno是多代路线图的第一代,第二代正在开发中,第三代正在成型[15] - 第二版芯片开发工作已接近尾声,预计未来几个月内完成流片[4] - 公司已在着手设计第三代AI技术以降低全球基础设施成本[4] - 每一代都将在积累经验基础上进一步提升效率和速度[15]
OpenAI首颗芯片,吊打英伟达