文章核心观点 - OpenAI开源了一种名为Circuit Sparsity的新型稀疏大语言模型，该模型通过将99.9%的权重约束为零，构建出类似电路图的清晰、可解释的内部计算路径，旨在破解传统稠密Transformer模型的“黑箱”问题[1][6] - 这种追求“原生稀疏性”的技术路线，与当前主流的混合专家模型在架构思路上形成对比，可能对MoE的发展路径构成挑战[8][18] - 尽管该技术在模型可解释性上取得突破，但其训练和推理计算量是传统稠密模型的100-1000倍，算力成本极高，目前能力尚不及顶尖大模型，短期内难以替代成熟的MoE架构[20][21] 模型技术原理与特点 - 模型基于GPT-2风格的Transformer架构，通过严格约束使权重的L0范数极小，将99.9%的连接“砍断”，仅保留千分之一的有效通路，形成类似电路导线的固定信息传递路径[10] - 模型通过“均值屏蔽”剪枝方法，为不同任务拆解出专属的“最小电路”，例如处理Python引号闭合任务仅需2个MLP神经元和1个注意力头[12] - 在预训练损失相同的前提下，稀疏模型的任务专属电路规模比稠密模型小16倍，且电路模块具备严格必要性与充分性，删除任一节点会导致任务失效，从而实现逻辑步骤的精准追踪[14][15] 与混合专家模型的对比 - MoE模型通过门控网络拆分专家子网络来近似稀疏性，核心目的是适配硬件的稠密矩阵计算需求[16] - MoE架构存在缺陷：一是割裂特征流形，导致专家同质化、知识冗余，依赖复杂负载均衡损失函数来维持稳定性；二是专家功能边界模糊，无法实现微观机制的精准拆解[17] - Circuit Sparsity追求“原生稀疏性”，通过将特征投射到超大维度并严格限制激活节点，使每个特征变得单义、正交，从根源上解决了概念分散于多个节点的叠加问题，无需依赖路由器等“Hack”手段[18] 当前局限与未来展望 - 该技术最突出的短板是算力成本极高，训练和推理计算量是传统稠密模型的100-1000倍，暂时达不到顶尖大模型的能力[20][21] - 研究团队提出了两种克服训练效率低下的方法：一是直接从现有密集模型中提取稀疏电路以复用框架、降低成本；二是优化训练机制，从头训练出高效且原生可解释的模型[23][24] - 这项工作被视为AI可解释性探索的早期一步，团队计划将技术扩展到更大模型，以解锁更复杂的推理电路[22]