Workflow
NVIDIA Dynamo 1.0
icon
搜索文档
NVIDIA Enters Production With Dynamo, the Broadly Adopted Inference Operating System for AI Factories
Globenewswire· 2026-03-17 04:36
产品发布与核心定位 - NVIDIA于2026年3月16日发布NVIDIA Dynamo 1.0,这是一个用于大规模生成式和智能体推理的开源软件[2] - Dynamo 1.0与NVIDIA Blackwell平台结合,旨在为云提供商、AI创新者和全球企业提供具有无与伦比规模、效率和速度的高性能AI推理[2] - Dynamo 1.0被定位为AI工厂的分布式“操作系统”,如同计算机操作系统协调硬件和应用程序,它能在集群中无缝协调GPU和内存资源以处理复杂的AI工作负载[4] 性能提升与技术创新 - 在近期的行业基准测试中,Dynamo将NVIDIA Blackwell GPU的推理性能提升了高达7倍[4] - 该软件通过更智能的“流量控制”和在不同GPU及低成本存储之间移动数据的能力,来分配推理工作,从而减少资源浪费并缓解内存限制[5] - 对于智能体AI和长提示词处理,它能将请求路由到已拥有最相关“短期记忆”的GPU,并在不需要时卸载该内存[5] - 软件包含核心构建模块,如用于智能内存管理的KVBM、用于快速GPU间数据移动的NVIDIA NIXL,以及用于简化扩展的NVIDIA Grove[6] 生态系统整合与行业采用 - NVIDIA通过将Dynamo和TensorRT-LLM库优化集成到LangChain、llm-d、LMCache、SGLang、vLLM等流行框架中,加速开源生态系统发展[6] - NVIDIA还向FlashInfer项目贡献了TensorRT-LLM CUDA内核,以便其能原生集成到开源框架中[6] - NVIDIA推理平台获得了广泛生态支持,包括云服务提供商(亚马逊AWS、微软Azure、谷歌云、Oracle云基础设施)、NVIDIA云合作伙伴(阿里云、CoreWeave、Together AI、Nebius等),以及AI原生公司、推理端点提供商和全球企业[11][12] - 多家合作伙伴高管发表评论,认可Dynamo在提供动态基础设施、深度优化、可预测性能、简化部署路径以及支持大规模实时智能体验方面的价值[7] 产品特性与市场影响 - Dynamo 1.0为大规模推理提供了一个生产级的开源基础[10] - 作为免费开源软件,它能降低Token成本,并为数百万GPU增加收入机会[4] - 公司CEO黄仁勋表示,推理是智能的引擎,为每一次查询、每一个智能体和每一个应用提供动力,Dynamo的快速采用表明下一波智能体AI浪潮已经到来[5]