融资与合作 - AI基础设施公司SambaNova成功完成3.5亿美元融资，旨在推进其数据流架构技术，将其定位为基于GPU的AI系统的替代方案 [2] - 英特尔资本参与了本轮融资，打破了其计划收购SambaNova的传言，双方建立了“多年期”合作关系 [2] - 合作内容包括SambaNova的新一代可重构数据流单元将使用英特尔至强处理器，以及双方将进行硬件软件协同设计，旨在为客户提供生成式AI部署的GPU替代方案 [2][8] 产品与技术进展 - SambaNova计划今年晚些时候发布SN50加速器，日本软银已成为其首批客户之一 [3] - SN50相比2024年推出的SN40L有显著提升，提供2.5倍的16位浮点性能和5倍的FP8性能，分别达到1.6 petaFLOPS和3.2 petaFLOPS [3][7] - 每个RDU配备432MB片上SRAM、64GB HBM2E内存（带宽1.8TB/s）以及256GB到2TB的DDR5内存，其三层内存架构允许在几分之一秒内在模型之间切换并高效卸载键值缓存 [3][7] 性能与竞争优势 - SambaNova声称其数据流架构通过重叠计算和通信减少数据移动开销，与英伟达B200相比，可提供高达5倍的每用户生成速度 [4][8] - 根据第三方数据，SambaNova的SN40L加速器在服务2300亿参数的MiniMax M2模型时，能以高达每秒378个token的速度提供大语言模型服务，比最接近的基于GPU的推理服务提供商快100多个token每秒 [5] - 对于SN50，单个推理工作器现在可以扩展到多达256个加速器，是英伟达NVL72机架中加速器数量的3.5倍以上，并支持通过交换结构实现的2.2TB/s双向芯片间带宽 [5][6] 市场定位与战略 - SambaNova认为其大容量DDR5内存池使其能在几毫秒内快速切换客户模型和键值缓存，这有助于解决因模型定制化导致的机架运行效率低下问题 [6] - 公司表示已将产品优化到使每个机架都具备合适的推理经济性，使服务提供商能够通过提供token服务实际获利，未来的重点将是销售基础设施而非构建专用推理云 [6]