编辑丨 机器之心 点击下方 卡片 ，关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 大模型的架构，要彻底进化了？ 昨晚开始，AI 圈都在研究一个神奇的新物种 ——Code World Model（CWM）。 Meta 重组后的 AI 部门推出的首个重磅研究，是一个 世界模型 ，用来写代码的。 为了提升代码理解能力，而不仅仅局限于从静态代码训练中学习，Meta FAIR CodeGen 团队在 Python 解释器和智能体式 Docker 环境中使用了大量观测 - 动作轨迹 进行中间训练（mid-train），并在可验证编码、数学和多轮软件工程环境中进行了大规模多任务推理强化学习（RL）。 为支持进一步的代码世界建模研究，Meta 开放了模型在 中间训练（mid-training）、SFT 和 RL 阶段的检查点。 它和「传统」的大语言模型（LLM）思路不同，理论是这样的： 当人类进行计划时，我们会在脑海中想象不同行动可能带来的结果。当我们推理代码时，我们会在心中模拟其部 ...

机器之心报道 编辑：泽南、冷猫 大模型的架构，要彻底进化了？ 昨晚开始，AI 圈都在研究一个神奇的新物种 ——Code World Model（CWM）。 Meta 重组后的 AI 部门推出的首个重磅研究，是一个 世界模型 ，用来写代码的。 它和「传统」的大语言模型（LLM）思路不同，理论是这样的： 当人类进行计划时，我们会在脑海中想象不同行动可能带来的结果。当我们推理代码时，我们会在心中模拟其部分执行过程。当前一代的大语言模型在这方面表 现不佳，往往难以做到真正的推理和模拟。那么，一个经过显式训练的代码世界模型（Code World Model）是不是能够开启新的研究方向呢？ Math-500： 96.6% AIME 2024： 76.0% Meta 刚发布的这个 CWM，是一个 320 亿参数的开放权重 LLM，以推动基于世界模型的代码生成研究。 CWM 是一个稠密的、仅解码器结构的 LLM，支持最长 131k tokens 的上下文长度。独立于其世界建模能力，CWM 在通用编程与数学任务上表现出强大性能： SWE-bench Verified（含测试时扩展）：pass@1 6 5.8% LiveCode ...