Workflow
Kimi新模型拿下代码开源SOTA,仅仅72B,发布即开源
量子位·2025-06-17 09:03

模型发布与性能表现 - Kimi团队发布开源代码模型Kimi-Dev 在SWE-bench Verified测试中以60.4%的成绩取得开源SOTA [1] - 模型参数量为72B 编程能力超越DeepSeek-R1 与闭源模型相比表现优异 [2] - 采用MIT协议 权重和代码已公开发布 抱抱脸平台上线网友制作的量化版本 [4] 技术架构与训练方法 - 核心设计为BugFixer和TestWriter双角色协同 遵循共同的最小框架包含两阶段流程 [6] - 基于Qwen 2.5-72B基础模型 使用1500亿高质量真实数据进行中期训练 数据源包括数百万GitHub issue和PR提交 [8] - 实施严格数据净化 确保训练数据不包含SWE-bench Verified内容 强化学习阶段专注提升代码编辑能力 [10] 强化学习关键创新 - 采用结果导向奖励机制 仅以Docker环境执行结果(成功1/失败0)作为评判标准 [11][12] - 设计高效提示集 过滤零成功率提示 结合渐进式难度提升策略 [13][14] - 引入正向示例强化 将已解决问题方案重新纳入训练批次巩固成功模式 [14] 测试机制与未来规划 - 测试时采用自我博弈机制 生成最多40个补丁候选和40个测试候选 观察到规模效应 [16] - 计划拓展复杂软件工程任务 深化与IDE/版本控制/CI-CD工具的集成 [18] - 项目资源已公开 包括GitHub仓库和HuggingFace模型页 [19]