红帽公司宣布推出红帽AI推理服务器
快讯·2025-05-21 17:36
红帽AI推理服务器发布 - 开源解决方案提供商红帽公司推出红帽AI推理服务器(Red Hat AI Inference Server) [1] - 该产品是红帽AI中的新产品,旨在混合云中普及生成式AI(gen AI) [1] - 企业级推理服务器源自强大的vLLM社区项目 [1] - 通过红帽对Neural Magic技术的集成进一步增强 [1] - 提供更高的速度、加速器效率和成本效益 [1] - 助力实现"在任意云环境中的任意AI加速器上运行任意生成式AI模型"的愿景 [1] 技术特点 - 基于vLLM社区项目开发 [1] - 集成Neural Magic技术 [1] - 提升推理速度 [1] - 提高加速器效率 [1] - 增强成本效益 [1]