文章核心观点 - 一篇由多机构联合发布的综述文章，系统性地提出了“可实践的机制可解释性”框架，旨在将机制可解释性从观察分析工具转变为能实际干预和提升大语言模型性能的“手术刀”[2] - 该框架围绕“定位、操控、提升”三阶段范式，为大模型的对齐、能力增强和效率提升提供了一套具体的方法论[2] - 文章指出，现有机制可解释性研究大多停留在“观察”层面，而该综述的核心是解决如何将机制层面的发现转化为模型行为和性能的实际改进[7] 从“显微镜”到“手术刀”的范式转移 - 大语言模型内部运作机制不透明，常被视为“黑盒”，机制可解释性是一个重要的研究方向[5] - 传统机制可解释性研究侧重于回答“模型内部有什么”，而本篇综述将关注点转向“可以对模型做什么”[7] Locate：精准定位 - 干预的前提是准确诊断，文章首先构建了一套系统的可解释对象定义与分类体系[9] - 微观层面涵盖从传统神经元到稀疏自编码器特征，宏观层面涵盖注意力头、残差流等组件[9] - 梳理了包括因果归因、探针、梯度检测等主流定位技术[9] - 通过表格形式系统定义了各类可解释对象及其表示和形状，如词嵌入矩阵、残差流状态、注意力头输出、前馈网络块输出、神经元激活状态及SAE特征激活状态等[10] Steer：干预手段 - 当关键对象被定位后，对其进行干预标志着机制可解释性从“观察”迈向“可实践”的关键一步[11] - 文章将现有干预手段归纳为三大类：幅度操控、靶向优化和向量运算[13] - 幅度操控：对目标对象进行置零、缩放、替换等操作，实现“开关式”或“强度式”控制[13] - 靶向优化：利用定位到的关键组件进行参数级微调，比全量微调更高效、副作用更小[13] - 向量运算：在激活空间中加入或移除任务向量或特征向量，实现推理时引导模型行为[13] Improve：应用场景 - 机制可解释性赋能的三大应用场景包括对齐、能力和效率[14] - 对齐：通过定位与有约束的干预，减少有害行为、降低幻觉或提升遵循指令的稳定性[14] - 能力：将机理层面的“功能模块”转化为具体的能力增强路径，例如更稳定的推理、记忆或语言生成[14] - 效率：探索更灵活的干预与压缩手段，为高效训练、推理加速与部署成本提供新抓手[14] Paper List指南 - 研究团队将分散的研究成果做成了“可检索的图表”，每篇论文都用统一标签标出研究对象、定位方法和操控方法[17] - 该图表便于将不同研究路线的代表性工作进行直观对照，帮助研究者快速定位与自身需求最契合的关键论文[17] - 图表中列举了大量论文，并按“安全与可靠性”、“公平与偏见”、“角色扮演”、“多语言”、“逻辑与推理”、“知识管理”等类别进行了归类，展示了机制可解释性在改善对齐和提升能力方面的具体应用[18] 未来展望 - 机制可解释性的核心挑战与机遇在于打破“各自为战”的局面，需要建立标准化的评估基准以验证干预手段的泛化性[20] - 未来需推动机制可解释性向自动化演进，最终实现让AI自主发现并修复内部错误的愿景[20] - 期待该综述能为社区提供详实指南，推动大模型从不可解释的黑盒走向透明、可控、可信的未来[21]