文章核心观点 - Recursive SI 发布首个模型成果 Flint-40B-A2B，这是一款速度快、专为本地硬件运行的智能体编程模型，由自研自动化研究系统 Eureka Machine 全程参与打造 [1] - Flint 总参数量 400 亿，每生成一个 Token 只激活 25 亿参数，在少量员工和 AI 智能体共同参与下从零开始不到 4 个月完成 [2] - 在 SWE-Bench Pro v2、Terminal-Bench 2.1 和 SWE-Bench Verified 等智能体编程基准测试中，Flint 表现超过总参数量低于 500 亿的其他 MoE 模型，编程能力可与总参数量 250 亿至 400 亿的稠密模型相媲美，运行速度却快 5 倍以上 [2] - 模型权重已在 Hugging Face 开放，采用 Apache 2.0 许可证，下载后可在本地运行，让数据留在自己设备上，也可根据具体应用需求调整 [10] 模型性能与基准表现 - 在智能体编程基准测试中，Flint 是总参数量低于 500 亿的 MoE 模型里表现最好的，性能可媲美参数规模相近的顶尖稠密模型，同时运行速度明显更快 [21] - Flint 在 IFBench 和 IFEval 上取得最高分，在 Terminal-Bench 2.1 和 SWE-bench Pro v2 上领先于所列其他稀疏 MoE 模型，在 SWE-bench Verified 和 LiveCodeBench v6 上保持较强竞争力，但部分稠密模型在编程基准测试中仍取得更高分 [21] - Flint 支持最长 512k Token 的上下文窗口，Recursive 建议将上下文长度控制在 256k Token 以内以获得更好效果 [26] - Flint 适合用作日常编程模型在本地执行任务，处理复杂任务时建议把工作拆成较小任务并给出明确指令，与大型闭源编程模型相比可能需要提供更多引导 [25] 本地推理速度与硬件适配 - 在较短上下文下，Flint 在搭载 M4 Pro 芯片的 MacBook Pro 上生成速度超过每秒 125 个 Token，在配备 64GB 内存的 NVIDIA RTX Spark 上超过每秒 150 个 Token，相比同类模型速度最高可提升 2 倍 [2] - 有开发者在搭载 64GB 内存的 MacBook Pro M5 Max 上实测生成速度达到每秒 114～132 个 Tokens [13] - 另有开发者在只有 12GB 显存的 RTX 3060 上成功跑起这款 400 亿参数编程模型，支持 256K 上下文，生成速度约 46 Token/s [17] - 借助优化后的推理引擎，Flint 在 Apple Silicon 和 NVIDIA RTX Spark 上运行速度最高可达同类模型的 2 倍，与编程基准成绩相近、参数量 250 亿至 400 亿的稠密模型相比速度快 5 倍以上 [28] - Flint 兼容 llama.cpp、Ollama、Unsloth、LM Studio、vLLM 和 SGLang 等多种工具和框架，开源轻量级推理引擎 rec 专门针对 Flint 在 M4 Pro 和 M5 Pro/Max 芯片上的运行进行优化 [12] 自动化研究系统 Eureka Machine - Eureka Machine 能够自动完成一整套研究流程：提出想法、编写实现、运行测试，再根据测试结果决定下一步尝试什么，可同时探索多条技术路线，利用已有实验结果继续推进，并将不同实验中表现出色的方案组合起来 [32] - Flint 整个开发过程都用到 Eureka Machine，从数据、优化器和训练方案到基础设施与推理性能，这套系统都参与研发，其发现的改进方案帮助小团队从零构建 Flint 并在不到 4 个月内在目标基准测试中达到领先水平 [34] - 模型架构方面，Eureka Machine 从总参数量 350 亿、每 Token 激活 30 亿参数的基线模型出发，尝试不同专家配置和网络宽度，经多轮探索最终选定总参数量 400 亿、每 Token 只激活 25 亿参数的 Flint 架构 [36] - 量化方面，系统将输出层也量化到 4 bit，并增加离线蒸馏环节，以 16 位模型作为教师模型，与此前量化感知训练基线相比训练步数减少近一半，最终 NVFP4 模型在各项基准测试中得分与 16 位模型相差不超过 0.7 分 [37][38] - 推理内核方面，系统为低比特投影计算、MoE 运算、注意力计算和提示词处理等环节开发专用内核，并在 M4 和 M5 芯片上开发基于 Metal 的大型融合内核，将整个解码阶段的前向计算合并到一个内核中执行 [40][41] 公司战略与下一步计划 - Recursive 的目标是打造能够递归式自我改进的超级智能，让知识发现过程实现自动化，目前从模型开发入手，希望建立一套随每一代模型产出而持续改进的研究流程 [43] - Flint 是这项工作的起点，小团队在不到 4 个月里从零构建该模型，Eureka Machine 负责提出想法、尝试实现并在模型开发各环节检验方案有效性 [44] - Recursive 判断能力更强的模型能让 Eureka Machine 成为更好的研究者，帮助更快开发下一代模型，并以相同成本获得更强能力 [45] - 接下来 Recursive 将继续开发能力更强的本地模型及运行这些模型所需的基础设施，并将工作延伸到更广泛的 AI 研究与开发领域 [46]