公司动态与产品发布 - 公司Arrcus宣布其Arrcus Inference Network Fabric与NVIDIA AI基础设施集成 包括NVIDIA Dynamo框架 NVIDIA BlueField-3 DPU和NVIDIA Spectrum-X以太网网络及GPU平台 [1] - 该集成解决方案旨在智能且安全地引导流量 以实现更快的应用响应 更低延迟 更高的能效以及更低的单次推理成本 [1] - 公司CEO表示 此次集成使运营商和企业能够智能路由推理流量 最大化GPU利用率 并在全球范围内提供实时AI服务 [2][3] 技术方案与产品功能 - AINF作为智能体AI的中央指挥 利用在NVIDIA AI基础设施上运行的智能LLM分类器 实时确定最合适的模型并将请求路由至最优站点和网络路径 [6] - AINF与NVIDIA Dynamo配合 作为分布式推理的全局路由层 根据模型可用性 服务层级 地理围栏策略 站点容量和实时网络健康状况 将请求智能引导至最优站点 [6] - AINF与NVIDIA BlueField-3 DPU集成 为跨地域推理流量提供安全保护 支持高达400 Gb/s的线速加密且零CPU开销 [8] - 结合NVIDIA Spectrum-4以太网交换机和GPU平台 该解决方案提供了一个为性能 效率和安全性而设计的端到端推理网络结构 [8] - AINF负责确定应由哪个站点服务推理请求 而NVIDIA Dynamo则决定该站点内的哪个副本进行响应 从而确保大规模部署中计算资源的最优利用 [7] 行业趋势与市场需求 - AI正从集中式训练转向全球分布式推理 基础设施需求正在迅速变化 [3] - 智能体AI工作流通常需要跨多个模型和工具链接数十次推理调用以完成任务 这些工作流需要在请求进入网络的瞬间进行智能模型解析 优先级分类和策略执行 [3] - 从机器人 自主系统到视频分析和智能体工作流等实时AI应用 需要安全的多站点连接 高效的GPU利用率和智能模型选择 [3] - 传统的网络和负载均衡方法缺乏政策感知和动态路由能力 无法在全球规模上支持此类需求 [5] 客户案例与合作 - 运营商Lightstorm表示 亚太地区的大规模AI推理需要跨越广域网的可靠低延迟连接 通过利用Arrcus基于NVIDIA的AINF解决方案 有望在该地区实现实时大规模推理部署 [4] - Lightstorm作为亚太地区领先的数字基础设施和连接提供商 正与Arrcus合作 为分布式AI推理和训练工作负载提供专用网络解决方案 [17] - Arrcus还与富士通及1Finity围绕富士通新一代高能效Arm架构CPU FUJITSU-MONAKA合作 旨在为新兴的物理AI 智能体AI和训练AI时代提供安全 高能效的基础设施 [18][19] 公司背景 - Arrcus是网络软件解决方案的领先提供商 总部位于加利福尼亚州圣何塞 公司CEO为Shekar Ayyar 拥有140名员工 [12][14][20]