How DigitalOcean (DOCN) Helped Workato Cut Inference Costs and Improve AI Throughput
核心事件与合作伙伴关系 - DigitalOcean宣布其平台被Workato的AI研究实验室采用,用于支持生产规模的新一代企业AI智能体开发[1] - 此次合作涉及Workato将其AI实验室工作负载迁移至DigitalOcean由NVIDIA H100 GPU驱动的推理优化云平台[1] 性能提升与成本优化成果 - Workato迁移后,在包括Llama-3.3-70B在内的前沿模型上立即取得收益[2] - 推理成本下降67%,达到每100万token 0.77美元[2] - 吞吐量提升67%,达到每GPU每秒13,561个token[2] - 高负载下首token时间改善77%,缩短至1,455毫秒[2] - 实现价值的时间从数周缩短至数天,加速超过两倍[2] 技术架构与方案优势 - DigitalOcean与Workato共同设计并调优了基于DigitalOcean Kubernetes的分布式推理架构[3] - 配置了NVIDIA Dynamo以协调跨互连GPU集群的工作负载[3] - 该架构减少了冗余计算,提高了高需求下的响应能力[3] - 为Workato带来了33%的硬件性价比优势[3] 公司业务定位与客户基础 - DigitalOcean是一家专注于简化开发者、初创企业和企业部署流程的云基础设施提供商[4] - 其平台结合了GPU基础设施和核心云服务,以支持AI及更广泛的生产工作负载[4] - 公司为超过64万客户提供服务[4]