文章核心观点 - 一种名为Circuit Sparsity的技术通过构建极致稀疏、功能解耦的大语言模型变体，旨在从根本上解决传统稠密Transformer模型的黑箱问题，实现模型决策过程的可解读与可追踪[4] - 该技术路径通过严格约束模型权重，仅保留极少数有效连接，形成类似电路图的清晰计算通路，与当前主流的混合专家模型在架构哲学上存在根本差异，并可能对后者构成长期挑战[5][7] - 尽管Circuit Sparsity在可解释性上取得突破，但其目前面临训练和推理计算量激增的严重瓶颈，短期内难以替代已在算力效率与性能平衡上成熟的MoE模型，属于AI可解释性研究的早期探索[14] 技术原理与架构 - 技术本质是GPT-2风格Transformer的稀疏化变体，通过严格约束使权重的L0范数极小，在训练中直接切断99.9%的无效连接，仅保留千分之一的有效通路，使信息沿固定路径传递[7] - 模型通过均值屏蔽剪枝等方法，为不同任务拆解出专属的最小功能电路，例如处理Python引号闭合任务仅需2个MLP神经元和1个注意力头构成核心电路，内含专门的引号检测器、类型分类器等模块[10] - 在预训练损失相同的前提下，稀疏模型的任务专属电路规模比稠密模型小16倍，且电路具备严格必要性与充分性，保留即能工作，删除任一节点则失效，实现了计算逻辑的精准追踪[12] 与混合专家模型的对比 - MoE模型通过门控网络拆分专家子网络并依赖路由器分配任务来近似稀疏性，核心目的是适配硬件的稠密矩阵计算需求，是一种粗糙的近似方法[12] - MoE架构存在割裂特征流形、导致专家同质化与知识冗余的缺陷，且专家间信息协同依赖复杂的负载均衡损失函数调控，稳定性堪忧，其专家功能边界模糊，无法实现微观机制的精准拆解[12] - Circuit Sparsity追求模型原生稀疏性，通过将特征投射到超大维度并严格限制有效激活节点，使每个特征变得单义、正交，从根源上解决了概念分散于多个节点的叠加问题，无需依赖路由器即可避免信息干扰[12] 当前局限与未来发展 - 该技术最突出的短板是算力成本极高，其训练和推理的计算量是传统稠密模型的100-1000倍，目前能力尚无法达到顶尖大模型水平[14] - 短期内，在算力效率与性能平衡上已很成熟的MoE模型预计仍是工业界的主流选择[14] - 未来克服稀疏模型训练效率低下有两条主要途径：一是从现有密集模型中直接提取稀疏电路以复用框架、降低成本；二是优化训练机制，从头训练出既原生可解释又能高效落地的模型[16]