新浪科技讯 5月27日上午消息，全球开源解决方案提供商红帽公司近日宣布启动新开源项目llm-d，以满 足生成式AI大规模推理需求。据悉，该项目与创始贡献者CoreWeave、Google Cloud、IBM Research和 NVIDIA合作打造，能够利用突破性的大规模生成式AI推理技术，让大语言模型（LLM）推理云能够满 足最苛刻的生产服务级目标（SLO）。 NVIDIA工程AI框架副总裁Ujval Kapasi表示："llm-d项目是对开源AI生态系统的重要补充，体现了 NVIDIA对合作推动生成式AI创新的支持。可扩展、高性能地推理是下一波生成式AI和代理式AI的关 键。我们正在与红帽和其他支持合作伙伴合作，促进llm-d社区的参与和行业采用，利用NIXL等 NVIDIA Dynamo创新帮助加速llm-d的发展。"（文猛） 责任编辑：杨赐 红帽及其行业合作伙伴正通过llm-d应对这一挑战，将先进的推理能力集成到现有的企业IT基础设施 中。据悉，该统一平台使IT团队能够满足关键业务工作负载的各种服务需求，同时部署创新技术以最大 限度地提高效率，并显著降低与高性能AI加速器相关的总体拥有成本（TCO）。 ...