文章核心观点 - OpenAI可解释团队创建人Nick Cammarata发表超长文章，认为利用现代智能体工具，万亿参数大模型几乎可读，神经网络黑箱看法被证明是误解，预期障碍大多不存在，可解释性将被解决且可能很快实现 [1] - 这可能是可解释性的苦涩教训：简单的事情在荒谬规模下就能奏效 [2] - 神经网络并非纠缠的结，多义性是错误的，可以直接研究神经元而无需先用第二个模型展开，Qwen-32B中90%的神经元只有一个任务 [5] - 这项工作最终可能让行业能够有意设计大型语言模型并塑造其行为方式 [6] - 亲手打下superposition假说地基的人站出来说：是我们看走眼了，神经网络本来就是干净的 [9] 猫和汽车案例的重新解读 - 机制可解释性试图追踪神经元和计算回路解释模型如何得到答案，困难之一是一个神经元经常对看似毫无关系的东西产生响应，经典案例来自视觉模型InceptionV1，同一个神经元既识别猫脸又识别汽车前脸 [11] - 过去的重要解释是叠加：模型空间有限，于是把互不相关又不容易同时出现的概念压进同一组神经元，研究者因此尝试用稀疏自编码器SAE等工具把这些表征重新拆成可理解的特征 [11] - Nick如今认为这个著名案例看错了，重新检查图片和连接关系后发现猫脸和汽车前脸共享一个特征：V形，这个神经元还与V形火焰、狐狸脸等相关，而圆形会把它推向负向响应 [12] - 猫和汽车是人类给出的分类，网络找到的可能是跨越这些类别的形状规律 [12] - 神经元未必像名词负责给物体贴标签，也可能像动词负责区分模式，把信息送往不同的下游回路 [13] - 我们眼中的混乱有时只是模型使用了我们没想到的分类 [14] 多义性的真相 - 另一些神经元确实有多种用途，但作者认为这也未必源于无关概念的随意混装 [16] - Nick提出递归泛化：神经元从一个模式出发逐渐长出相关分支，分支又继续生长，一个识别iy的神经元可以扩展到diy，再扩展到完全不含iy的do it yourself，一个地质神经元会分枝到名为Cesium的地理JavaScript库 [16] - 这不是在高维空间里藏匿信息，而是在语义相邻的领地上生长，superposition是最激进也最难证伪的解释，理应成为最后假设，而作者自己曾当了它多年的信徒 [16] - 只看训练结束后的响应这几项可能显得关系松散，沿着训练过程追踪却能看见它们如何连接起来 [17] - 工具也会制造误解，团队发现一个被自动解释工具标为多义逗号神经元的单元实际与科罗拉多州有关，它响应当地电话区号、俚语等信息，增强它还会让模型倾向于规划徒步旅行，逗号只是模型汇总前文语境的位置，盯着响应发生的字符反而会错过真正的含义 [17] 神经元可解释性的量化数据 - 2023年OpenAI的自动可解释性项目用最宽松的标准也只找到约1.7%可解释神经元 [18] - 如今在对Qwen3-32B的初步审查中作者估计，约90%的神经元正、负极各自有一项主要工作，约7%有两项相关工作，约2%—4%尚未理解，这个数字取决于激活阈值以及如何界定一项工作 [18] - 稠密模型和MoE模型结论相近，作者在Kimi K3上得到的是同样的结果，他们在Kimi K3上做出了已知首个万亿参数模型的归因图，捡到钱包的问题里钱包、现金、证件连通失物招领与诚实，最后输出归还 [18] - 用新工具重审当年的GPT-2 XL，约70%的神经元也已大致是一回事 [18] 让AI科学家研究AI内部 - 这项工作的另一条主线是智能体改变了研究规模 [20] - AI可以检查神经元样本、提出解释、追踪上下游连接，再设计实验寻找反例，研究者还让智能体检查了十万张归因图，作者本人也检查了数千张 [21] - 怎样避免AI编出一个听起来合理的故事，一种测试是第一个智能体研究神经元并写下解释，第二个只看解释生成一个预计能强烈激活它的新样本再交给网络测量，作者报告有些样本的激活强度超过了他们从百亿token语料中找到的所有例子 [22] - 团队也生成看起来接近实际不该触发的反例，并通过移除神经元、增强激活等干预检查解释能否预测模型行为 [22] - 解释由此变成可以被实验推翻的假说 [23] - Cammarata还提出一个反直觉的见解：理解更多网络有时会让剩下的部分更容易理解，像填字游戏一样相邻答案越多一个空格能填什么就越受约束，较大模型的神经元也可能分工更细反而更容易辨认 [23] - 这让他想到可解释性领域自己的苦涩的教训：简单的观察、假设与检验在足够大规模上也许比不断设计精巧的拆解方法更有效 [24] - 这仍不是可解释性已经解决的宣言，注意力机制、完整模型审计以及如何把理解转化为可靠的安全改进都有大量工作待做，但它提供了一个值得认真检验的方向：如果神经网络内部已有可追踪的组织，未来的突破可能来自一座由AI科学家参与运转的实验室，持续观察模型、提出问题并逐个验证答案 [24]