首次超越自回归模型!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
技术性能突破 - 公司开源业界首个高性能扩散语言模型推理框架dInfer [1] - 在基准测试中,dInfer将扩散语言模型的推理速度相比Fast-dLLM提升10.7倍(平均推理速度达681 TPS vs 63.6 TPS)[1] - 在代码生成任务HumanEval上,dInfer在单批次推理中速度达1011 Tokens/秒,首次在开源社区实现扩散语言模型单批次推理速度超越自回归模型 [1] 行业比较优势 - 在配备8块NVIDIA H800 GPU的节点上,dInfer与参数量和性能相当的自回归模型Qwen2.5-3B相比,平均推理速度是其2.5倍(681 TPS vs 277 TPS)[1] - 该工作表明扩散语言模型具备显著效率潜力,可通过系统性创新工程兑现,为AGI架构路径提供极具竞争力的选项 [1] 战略意义与行业影响 - dInfer连接了前沿研究与产业落地,标志着扩散语言模型从“理论可行”迈向“实践高效”的关键一步 [2] - 公司开源此框架旨在邀请全球开发者与研究者共同探索扩散语言模型潜能,构建更高效、开放的AI新生态 [2]