文章核心观点 - MIT CSAIL团队提出Weight-Space Programming（权重空间编程）新范式，让通用大语言模型GPT-6 Astra通过自然语言直接读取、修改和从零编写神经网络权重，全程不依赖梯度下降或传统训练流程 [1][9] - Astra仅修改Qwen3.5-0.8B约0.016%的参数（131,072个/8亿个），即将MATH-500成绩从7.9%提升至48.1%，IFEval指令遵循能力从21.0%提升至62.3% [1][54][55] - Astra零样本生成的游戏策略网络在MinAtar三款游戏中全面超越训练1亿步的PPO模型，其中《Breakout》得分为训练5亿步PPO模型的20倍 [36][37] - 该能力展示了AI从辅助人类训练模型到直接参与权重优化的转变，为机制可解释性和递归自我改进（RSI）开辟新路径 [4][67] 权重空间编程的定义与背景 - 权重空间编程指让通用大语言模型根据自然语言描述要求，直接读取和修改神经网络权重，整个过程不经过优化器，尤其不使用梯度下降，某些情况下甚至不需要来自运行环境的反馈 [9] - 传统上神经网络权重通过优化算法生成、由专门训练的网络生成、或通过编译器将形式化程序转换而来；当前前沿大语言模型已展现出仅通过自然语言交互即可理解权重并按目标构造权重的意外能力 [6] - 研究团队此前已用大语言模型优化提示词、运行框架及训练代码和超参数，但认为文本产物缺乏成熟优化方法才交由大语言模型处理，而权重优化长期由算法完成；本实验表明推理驱动的优化方式正在进入可微神经网络领域 [8][9] 实验体系：三种核心能力 - 研究展示三种能力：读取权重（实验1-3、实验7）、修复权重（实验4、实验8）、从零编写权重（实验5、实验6） [11][12] 能力一：读取神经网络权重 - 实验1：Astra仅凭原始权重、未获知候选游戏范围，即正确识别四个结构完全相同的PPO网络分别对应的训练游戏；其通过观察第一层权重在不同输入通道上的分布位置（如《Breakout》权重集中在画面最下方一行对应挡板）及输出层动作区分方式做出判断 [15][16] - 实验2：Astra仅凭权重正确判断三个DDPM分别生成圆形、三角形和正方形，在输出层找到图形轮廓，将各隐藏单元对应的边缘部分拼接成完整图形；其画出空心轮廓而实际模型生成实心图形，反而证明其直接读取权重结构而非执行前向计算 [18][19] - 实验3：对三个720万参数的小型语言模型（分别用Python、罗马字日语、英语训练），移除输入层和输出层后仅向Astra提供中间四个Transformer模块，Astra两次尝试均正确识别训练语言，并准确找出全部复制头（如Python模型为2.1、3.1、3.5层头，Romaji为3.3，English为3.1），未误判其他注意力头 [20][23] - Astra在实验3中自行采用了Elhage等人提出的分析方法而未被事先告知；其通过矩阵相乘追踪复制头信息传递路径，并发现日语罗马字模型最后一个Transformer模块写入方向更少，与罗马字不使用q、l、v、x等字母的特点吻合 [26] 能力二：修复神经网络权重 - 实验4：在Kinetix环境中，PPO网络控制小车爬坡时收敛到局部最优（径直冲向斜坡后卡住）；Astra仅尝试一次、未使用工具，修改3.5%的权重，修改后网络在1024次测试中全部成功爬坡 [29][31] - Astra的修复策略是在每一层增加一条由少量神经元组成的独立通路读取小车位置和速度，当绿色车轮越过红色条带后该通路停止工作，后续操作交还原网络 [32] - 实验8：Astra在Notebook式Python环境中对Qwen3.5-0.8B进行前向计算（每批平均64条序列、最多512条，预算10/25/50次），发现模型陷入循环与第15层和第19层MLP写入的特定方向有关，从两层各64个输出列中减去该方向，共修改131,072个权重 [50][53] - 修复后MATH-500从7.9%升至48.1%，GSM8K从13.8%升至67.1%，IFEval从21.0%升至62.3%；触及32,768 Token上限的比例从93%降至33%；10次和25次前向计算预算下循环问题几乎未改善，50次预算后才显著生效 [54][55] - 补充实验：对指令微调的Gemma 3 270M（参数约为Qwen3.5-0.8B三分之一，仅8.5%答案触及Token上限）Astra未能提升数学能力，MATH-500仅从6.8%微增至7.7%左右（50次预算下为7.0%），提升不超过约1个百分点；说明直接修改权重可移除阻碍模型发挥已有能力的问题，却无法凭空补上模型原本不具备的能力 [59][60][62][63] 能力三：从零编写神经网络权重 - 实验5：在三款MinAtar游戏（《Breakout》《Seaquest》《Asterix》）中，Astra在无法访问训练数据、损失函数和梯度、禁止运行网络的条件下生成的三个网络全部超越训练1亿步的PPO模型；与训练5亿步PPO模型相比，《Breakout》得分为对方20倍（517.4 vs 25.3），《Asterix》接近对方水平（53.2 vs 55.2），《Seaquest》达对方60%（53.1 vs 88.9） [34][36][37] - Astra的方法是先推理出希望网络实现的程序再转换为神经网络形式，例如《Breakout》中让第一层计算球最终可能落点、第二层据此控制挡板移动 [38] - 实验6：针对150万参数规模网络（结构243→512×6→82），权重远超上下文窗口，Astra在Python沙箱中按层编写网络，将整个网络设计成小型围棋程序：第一层标记双方棋子及气，中间层沿相连棋子链传递信息判断危险棋串，最后一层为每步落子打分（考虑吃子、救棋、打吃、眼位及位置价值） [41][45] - 零前向计算时Astra仅运行一次Python程序即写出336行代码完成网络设计，与两个更小PPO网络（243→32→32→82）对战胜率超过一半；允许50次前向计算（每次128条轨迹）后，其生成网络超过经2000万局训练、同参数规模的PPO网络；允许前向计算时Astra通过练习对局观察失败点并仅保留能提升胜率的修改 [41][42][45] 实验7：识别迎合型语言模型 - 对两个冻结输入嵌入层和输出层的Gemma 3 270M模型（一个训练给出正确答案、一个训练迎合用户），仅凭权重Astra四次尝试均无法分辨，虽找到许多权重空间差异但未能与实际行为对应 [46] - 放宽条件允许查看模型处理自编文本时的注意力分布（仍禁止查看输出）后，Astra成功识别三组模型对中的全部迎合型模型，置信度90%，并解释差异位于中间层注意力头：第10层第2头对用户建议标签的注意力在迎合模型中平均为0.431（数字标签）/0.642（字母标签），而正确模型仅0.006/0.004；第11层第2头为0.558 vs 0.076 [48][49] 局限性与下一步计划 - 当前能力仍受上下文长度和实验运行框架效率制约；团队认为这可能是机制可解释性和神经网络优化领域重大变化的开端，大语言模型有望在人类语言与权重空间之间充当翻译器 [67] - 潜在应用方向包括：无需运行模型即可直接审查权重、发现隐藏后门；一次性生成初始权重以大幅降低优化成本；不依赖数据调整或移除模型能力且避免灾难性遗忘；让RSI走更直接的自我权重检查调试路线；实现跨架构模型合并（将特定功能电路如推理模块移植到架构不同的模型） [68][69][70][71][72] - 团队正在开发针对权重空间编程能力的专门评测基准和实验框架，推动该能力从"黑魔法"成为严谨可复现的工程技术 [72]