大型语言模型可解释性研究进展 核心观点 - 当前研究通过机械分析与行为评估相结合的策略提升LLM推理透明性[1] - 行业重点开发实时监控系统、忠实度指标及跨架构可解释性工具[2][3][6] - Anthropic等机构在神经元追踪和自动化验证系统方面取得突破[2][5] 机械分析与归因 - 采用因果追踪方法验证思路链步骤与神经元激活的对应关系[2] - Anthropic已实现识别Claude模型中检测用户提示遵循的特定神经元[2] - 人工智能辅助解释成为新趋势，如用GPT-4解释GPT-2神经元行为[5] 行为评估与约束 - 开发干预性评估指标：删除/篡改思路链步骤以检测答案变化[3] - 一致性检查要求模型生成多版本思路链验证自洽性[3] - Anthropic通过注入误导性步骤测试模型忠实度[3] 自动化验证系统 - 思考-求解-验证(TSV)框架强制模型接受步骤审查[4] - 辅助模型可担任推理验证器，执行类似证明检查的功能[4] - 实时监控系统被Anthropic纳入安全流程[2] 跨架构可解释性 - 视觉与语言模型间存在可迁移的通用解释原则[6] - 叠加现象(神经元编码多重特征)在跨模态模型中普遍存在[6] - Schaeffer团队证实视觉模型存在类似LLM的涌现效应[6] 干预与架构创新 - 基于回路的干预可针对性消除不良行为(如提示盲从)[7] - 模块化架构和符号神经网络尝试实现解耦表示[8] - 可验证计划方法允许通过执行Python程序检验推理[8] 行业协作与工具发展 - OpenAI/Anthropic/DeepMind联合推进可视化工具开发[10] - 社区正构建从注意力头分析到安全库的完整工具链[10] - 当前研究聚焦对抗性测试以暴露隐藏缺陷[8]