合作概述 - IBM与Groq建立合作伙伴关系 旨在通过IBM的watsonx Orchestrate平台为企业直接提供GroqCloud推理技术 [1] - 合作目标是为企业部署智能体AI提供高速AI推理能力支持 [1] - 合作还包括将红帽的开源vLLM技术与Groq的语言处理单元架构进行集成和增强 [1] 技术优势与解决方案 - GroqCloud运行在定制的LPU硬件上 据称其推理速度比传统GPU系统快五倍以上且成本更低 [4] - 该平台在全球范围内提供持续的低延迟和可靠的性能 这对受监管行业部署智能体AI是一大优势 [4] - 通过结合Groq的推理性能和成本结构以及IBM的AI编排工具 合作旨在解决企业在扩展AI运营时面临的速度、成本和可靠性问题 [3] 目标客户与应用场景 - 医疗保健、金融、政府、零售和制造等行业的企业在将AI智能体从试点项目扩展到运营环境时遇到困难 [2] - IBM的医疗保健客户经常同时收到数千个复杂的患者查询 使用Groq技术使IBM的AI智能体能够实时处理信息并提供即时响应 [5] - 在零售和消费品等非监管行业 客户正在实施由Groq驱动的人力资源智能体来自动化人力资源任务 [5] - 双方将共同专注于为各种用例提供高性能推理 包括客户服务和员工支持 并特别强调满足严格监管要求部署的安全性和隐私性 [6] 平台整合与未来计划 - 计划未来在GroqCloud上为IBM客户提供IBM Granite模型支持 [2] - 计划与watsonx Orchestrate无缝集成 使客户能够灵活采用适合其业务需求的智能体模式 [7] - 此次整合有望帮助用户保持熟悉的工作流程 同时通过GroqCloud提高推理速度 支持推理编排、负载均衡和硬件加速等功能 [7]