文章核心观点 - NVIDIA推出开源推理软件Dynamo，可加速和扩展AI推理模型，以最低成本和最高效率运行AI工厂，提高推理性能并降低成本，增加代币收入 [1][3] 产品介绍 - Dynamo是NVIDIA Triton Inference Server™的继任者，可协调和加速跨数千个GPU的推理通信，采用分离式服务优化大语言模型处理和生成阶段，确保GPU资源最大利用率 [3] - 同一数量GPU下，Dynamo使运行Llama模型的AI工厂性能和收入翻倍，运行DeepSeek - R1模型时每GPU生成代币数量提升超30倍 [4] - 具备动态调整GPU、定位特定GPU、卸载推理数据等功能，可提高吞吐量并降低成本 [5] - 完全开源，支持多种框架，可让企业、初创公司和研究人员开发和优化AI模型服务方式，加速AI推理采用 [6] 应用案例 - 映射推理系统内存知识，将新推理请求路由到匹配GPU，避免重复计算，释放GPU响应新请求 [7] - Perplexity AI期待利用Dynamo增强分布式服务能力，提高推理服务效率，满足新AI推理模型计算需求 [8] - Cohere计划用Dynamo为其Command系列模型提供代理AI功能，认为其有助于为企业客户提供优质用户体验 [8][9] - 支持分离式服务，将大语言模型不同计算阶段分配到不同GPU，适用于新NVIDIA Llama Nemotron模型家族，可提高吞吐量和响应速度 [9] - Together AI计划将其推理引擎与Dynamo集成，实现推理工作负载跨GPU节点无缝扩展，动态解决模型管道各阶段流量瓶颈 [10] 关键创新 - GPU Planner：动态添加和移除GPU，适应波动的用户需求，避免GPU过度或供应不足 [14] - Smart Router：引导请求跨大型GPU集群，减少重复或重叠请求的GPU重新计算，释放GPU响应新请求 [14] - Low - Latency Communication Library：支持先进的GPU到GPU通信，抽象异构设备数据交换复杂性，加速数据传输 [14] - Memory Manager：智能地将推理数据卸载和重新加载到低成本内存和存储设备，不影响用户体验 [15] 产品可用性 - 将在NVIDIA NIM™微服务中提供，并在未来版本的NVIDIA AI Enterprise软件平台中得到支持，具备生产级安全、支持和稳定性 [15]