暴降 90%!英伟达 Blackwell 压缩 AI 推理成本至1/10
Blackwell架构在AI推理领域的里程碑进展 - 英伟达宣布其Blackwell架构在AI推理的"token经济学"方面取得里程碑式进展 通过推行"极致软硬件协同设计"策略 优化硬件处理复杂AI推理负载的效率 解决了模型参数膨胀带来的算力成本激增问题 [1] - 数据显示 相比上一代Hopper架构 Blackwell平台将单位Token生成成本降低至十分之一 [1] Blackwell架构的技术核心与设计优势 - Blackwell的高效能核心在于其旗舰级系统GB200 NVL72 该系统采用72个芯片互联的配置 并配备了高达30TB的高速共享内存 [6][7] - 该设计完美契合了当前主流的"混合专家"架构需求 能够将Token批次高效地拆分并分散到各个GPU上并行处理 [6][7] Blackwell平台的行业应用与成本效益 - 包括Baseten DeepInfra Fireworks AI及Together AI在内的多家推理服务提供商已开始利用Blackwell平台托管开源模型 [3] - 通过结合开源前沿智能模型 Blackwell的硬件优势以及各厂商自研的优化推理栈 这些企业成功实现了跨行业的成本缩减 [3] - 专注于多智能体工作流的Sentient Labs反馈 其成本效率相比Hopper时代提升了25%至50% [3] - 游戏领域的Latitude等公司也借此实现了更低的延迟和更可靠的响应 [3]