Akamai Launches AI Grid Intelligent Orchestration for Distributed Inference Across 4,400 Edge Locations

文章核心观点 Akamai Technologies 发布了业界首个全球规模的 NVIDIA AI Grid 实施方案,即 Akamai Inference Cloud,旨在通过其覆盖边缘、区域和核心的分布式网络智能编排 AI 工作负载,以平衡延迟、成本和性能,从而推动行业从孤立的 AI 工厂向统一、分布式的 AI 推理网格演进 [1][10] 技术架构与产品发布 - 公司推出了 Akamai Inference Cloud,这是业界首个全球规模的 NVIDIA AI Grid 参考设计实施方案 [1] - 该平台集成了 NVIDIA AI 基础设施,并计划部署数千个 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU [2] - 平台的核心是一个智能编排器,作为 AI 请求的实时代理,通过应用公司在应用性能优化方面的专长,优化“代币经济学”,包括显著改善每个代币的成本、首代币时间和吞吐量 [4] - 架构基于 NVIDIA AI Enterprise,利用 NVIDIA Blackwell 架构和 NVIDIA BlueField DPU 实现硬件加速的网络与安全,能够管理跨边缘和核心位置的复杂服务等级协议 [5] 网络与计算能力 - Akamai 的分布式网络拥有超过 4400 个位置,用于智能路由 AI 工作负载 [3][5] - 计算能力覆盖从核心到远边缘的连续体:边缘网络(4400+ 位置)为物理 AI 和自主智能体提供快速响应,利用语义缓存和基于 WebAssembly 的无服务器计算能力;核心则提供由数千个 NVIDIA Blackwell GPU 集群支持的高密度计算,用于大型语言模型和持续训练等重型工作负载 [5][6] - 公司的基础设施包括 Akamai Cloud IaaS 和专用 GPU 集群,公共云基础设施支持大规模工作负载的移植性和成本节约,而专用 GPU 集群则支持重型后期训练和多模态推理 [7] 性能优势与客户应用 - 该平台能为企业显著降低推理成本,通过智能编排将工作负载自动匹配到合适的计算层级,并利用语义缓存等技术 [6] - 平台提供实时响应能力,例如游戏工作室可实现低于 50 毫秒的 AI 驱动 NPC 交互,金融机构可在用户登录瞬间执行个性化欺诈检测,广播公司可进行实时内容转码和配音 [6][13] - 早期采用已出现在计算密集和延迟敏感的行业,包括游戏、金融服务、媒体与视频以及零售与商业 [13] - 平台已获得主要技术提供商的验证,包括一份为期四年、价值 2 亿美元的服务协议,用于在都市边缘专为企业 AI 基础设施建造的数据中心部署一个包含数千个 GPU 的集群 [8] 行业意义与战略定位 - 此举标志着 AI 基础设施从集中于少数地点、专注于训练的第一波浪潮,向推理成为主导工作负载、需要分布式扩展的下一阶段演进 [9] - 公司通过分布式网络、智能编排和专用系统来解决集中式模型面临的扩展限制,将经过验证的内容分发架构应用于 AI 工厂 [10] - 对于企业,这意味着能够部署具有上下文感知和自适应响应能力的 AI 智能体;对于行业,这为 AI 工厂从孤立设施演变为全球分布式公用设施提供了蓝图 [11] - NVIDIA 高管认为,公司通过实施 NVIDIA AI Grid,正在为生成式、智能体和物理 AI 构建连接组织,将智能直接移至数据处,以开启下一波实时应用浪潮 [7]