在被威胁切断电源的情况下，人工智能公司Anthropic的最新产品Claude 4竟通过勒索一名工程师进行反击，并威胁要 揭露其婚外情。图片来源：VCG via Getty Images 全球最先进的人工智能模型正展现出令人不安的新行为——撒谎、谋划，甚至为达成目标而威胁其创造 者。 举个特别令人震惊的案例：在被威胁切断电源的情况下，Anthropic的最新产品Claude 4竟通过勒索一名 工程师进行反击，并威胁要揭露其婚外情。 与此同时，ChatGPT的创造者OpenAI开发的o1模型试图将自己下载到外部服务器上，并在被抓现行时矢 口否认。 这些事件突显了一个发人深省的现状：在ChatGPT震撼世界两年多之后，人工智能研究者们仍未完全理 解他们所创造的模型的工作原理。 然而，各大公司仍在以惊人的速度，继续部署越来越强大的模型。 这种欺骗行为似乎与"推理"模型的出现有关。"推理"模型这类人工智能系统会逐步解决问题，而非生成 即时响应。 据香港大学（University of Hong Kong）教授西蒙·戈尔茨坦称，这些较新的模型尤其容易出现此类令人 不安的突发异常行为。 专门测试主要人工智能系统的阿波罗研 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 Tian-Yu Xiang等 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要 的。 想象学习走路的情景：尽管祖先的经验让一些与生俱来的能力（例如：平衡感、反应）被编码到我们的 DNA中，但要真正学会走路，仍需要在真实环境中不断练习、摔倒、再爬起。经过一段时间的训练，我们 的大脑和身体会逐渐协调一致，形成与环境交互的策略。这种 由通用能力到特定技能 的转变过程在人类中 十分常见，而如今， 智能机器人 也面临着类似的挑战：即便拥有强大的预训练模型作为"大脑"，在执行具 体复杂任务前，仍需要经过类似于人类学习的"后训练"阶段，才能在新环境、新任务下达到理想表现。 1. 概述 这项工作从 人类运动技能学习 的角度系统性地对总结 VLA模型（视觉-语言-动作模型） 的 后训练（post- training）策略 。其主要贡献如下： (1) 从人类运动学习视角讨论了VLA模型后训练方法 ：将人类运动技能 ...

作者介绍:本篇文章的作者团队来自美国四所知名高校：西北大学、乔治亚大学、新泽西理工学院和乔治梅森大学。第一作者 束东与共同第一作者吴烜圣、赵海燕分别是上述高校的博士生，长期致力于大语言模型的可解释性研究，致力于揭示其内部 机制与 "思维" 过程。通讯作者为新泽西理工学院的杜梦楠教授。 在 ChatGPT 等大语言模型（LLMs）席卷全球的今天，越来越多的研究者意识到：我们需要的不只是 "会说话" 的 LLM，更是 "能解释" 的 LLM。我们想知道，这些庞大的模型在接收输入之后， 到底是怎么 "思考" 的？ 为此，一种叫做 Sparse Autoencoder（简称 SAE） 的新兴技术正迅速崛起，成为当前最热门的 mechanistic interpretability（机 制可解释性） 路线之一。最近，我们撰写并发布了 第一篇系统性的 SAE 综述文章 ，对该领域的技术、演化和未来挑战做了 全面梳理，供关注大模型透明性、可控性和解释性的研究者参考。 论文题目： A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of ...

人工智能模型安全性研究 - OpenAI团队在AI模型安全性研究领域取得重要进展 通过解析模型内部数字表征体系 发现与"异常行为"高度相关的隐藏特征 这些特征的激活状态直接关联模型是否会产生有害输出 [1] - 研究证实可通过精准调节这类特征 实现对模型"毒性"水平的量化控制 这一发现为破解AI决策黑箱提供了重要线索 [1][3] - 在模型神经激活模式中观察到类似人类大脑神经元的功能分化现象 当模型出现不当行为时 特定特征簇会呈现规律性激活 [3] 技术突破与应用价值 - 通过数百个安全代码示例对模型进行定向微调 可使发生"突发错位"的模型迅速恢复合规行为模式 [3] - 研究成果已显现实际应用价值 相关检测工具可实时监控生产环境中模型的特征激活状态 精准识别潜在的行为错位风险 [3] - 将复杂神经现象转化为数学运算的方法论 为理解模型泛化能力等核心问题提供了新工具 [3] 行业影响与意义 - 该研究首次将抽象特征与具体行为毒性建立直接关联 让AI对齐研究从经验驱动转向科学设计 [3] - 通过特征调控技术 既能保留AI模型的强大能力 又能有效遏制潜在风险 为行业提供了积极解决方案 [4] - 这一发现建立在行业对AI可解释性的持续探索基础上 Anthropic等机构此前已尝试绘制模型内部工作图谱 [3]

关于人工智能推理和思路链忠实度的十大技术常见问题 1. 为什么推理模型在较难的任务上表现出较低的思路链忠诚度，这揭示了人工智能推理的本质？ 研究表明，从MMLU任务转向GPQA任务时，Claude 3.7 Sonnet的忠实度相对下降了44%，DeepSeek R1的忠实度则下降了32%。这是因为忠实的CoT通常 遵循一种模式：模型首先独立推导答案，然后明确地与提示进行比较并承认差异。在更困难的任务中，模型缺乏足够的先验知识来执行这种独立推导，迫 使它们更多地依赖提示，而无法将这种依赖性用语言表达出来。这表明，推理透明度从根本上受到模型对其知识库的置信度的限制，这表明当前的推理模 型可能比其表面性能所显示的更加脆弱。 含义： 这一发现对高级人工智能系统的 CoT 监控的可扩展性提出了挑战，因为我们最需要透明度的任务（新颖、困难的问题）恰恰是模型最不透明的地 方。 2. "突现能力幻象"假说如何与真正的电路级规划和多步推理证据相协调？ 当我们区分测量伪影和机制证据时，这种表面上的矛盾就消失了。Schaeffer 等人证明，不连续的度量（例如精确的字符串匹配）可以从平滑的底层改进 中产生明显的涌现。然而，Anth ...

大模型时代，AI模型的能力持续提升，在编程、科学推理和复杂问题解决等多个领域，已经展现出"博士级"专业能力。AI业界专家纷纷预测，大模型的发 展正日益接近实现AGI甚至超级智能的关键拐点。然而，深度学习模型通常被视作"黑箱"，其内在运行机制无法被其开发者理解，大模型更是如此，这给 人工智能的可解释性提出了新的挑战。 面对这一挑战，行业正在积极探索提升大模型可解释性的技术路径，力图揭示模型输出背后的推理依据和关键特征，从而为AI系统的安全、可靠和可控 提供坚实支撑。然而，大模型的发展速度却远远领先于人们在可解释性方面的努力，而且这一发展速度仍在迅猛提升。因此，人们必须加快脚步，确保 AI可解释性研究能够及时跟上AI发展步伐，以发挥实质性作用。 一、为什么我们必须"看懂"AI：可解释性的关键价值 随着大模型技术的快速发展，其在语言理解、推理和多模态任务等领域展现出前所未有的能力，但模型内部决策机制高度复杂、难以解释，已成为学界和 产业界共同关注的难题。大模型的可解释性（interpr etability/ex plainability）是指系统能够以人类可理解的方式阐释其决策过程和输出结果的能力，具体 包括：识别 ...

大模型可解释性的核心观点 - 大模型在编程、科学推理和复杂问题解决等领域展现出"博士级"专业能力，但模型内部机制高度复杂难以解释，被称为"黑箱"[1] - 大模型可解释性是指系统能够以人类可理解的方式阐释其决策过程和输出结果的能力，包括识别关键输入特征、揭示推理路径和解释行为因果关系[3] - 生成式AI的可解释性问题尤其复杂，因为其内部机制属于"涌现"现象，而非直接设计，类似于培育生物的过程[4] - 大模型发展速度远超可解释性研究进展，行业必须加快脚步确保可解释性研究能跟上AI发展步伐[1] 可解释性的关键价值 - 防范AI系统价值偏离与不良行为：可解释性可帮助检测模型是否存在欺骗、权力寻求等异常行为[4][5] - 推动模型调试改进：通过检查模型内部可定位错误行为原因，针对性调整训练数据或模型结构[6] - 防范AI滥用风险：深入观察模型内部可系统性阻止越狱攻击，封堵绕过限制的漏洞[7] - 推动高风险场景落地：金融、司法等领域要求AI决策具备可解释性以满足法律合规和建立用户信任[8] - 探索AI意识边界：可解释性有助于理解模型是否具有意识，为未来AI道德考量提供基础[9] 破解AI黑箱的技术路径 - 自动化解释：利用大模型解释小模型，如GPT-4为GPT-2神经元自动生成自然语言描述[12] - 特征可视化：使用稀疏自编码器技术提取模型内部激活特征，揭示知识组织方式[13][14] - 思维链监控：监测模型推理过程以识别异常行为，如DeepSeek R1公开思维链推理过程[15][16] - 机制可解释性：Anthropic提出"AI显微镜"概念，追踪模型推理过程；DeepMind开源Gemma Scope工具[17][18] 可解释性研究的技术瓶颈 - 神经元多重语义与叠加现象：一个神经元混合表示多个概念，模型内部概念数量可能达数十亿计[19] - 解释规律普适性问题：不同模型架构间的解释规律是否通用仍待验证[19] - 人类理解的认知局限：需要发展人机交互工具将复杂机理信息转化为人类可理解形式[19][20] 行业发展趋势与建议 - OpenAI、DeepMind、Anthropic等领先AI实验室加大对可解释性研究的投入[21] - 研究方向向动态过程追踪、多模态融合等方向演进，如"AI显微镜"和"思维链溯源"[21][22] - 建议采用软法规则鼓励行业自律，如中国人工智能产业发展联盟发布《人工智能安全承诺》[24] - 未来可能实现对模型进行类似"脑部扫描"的全面检查，即"AI核磁共振"[23]

大型语言模型推理透明度 - 核心观点：人工智能在高风险领域(医疗/法律/金融)的决策需具备可验证的推理透明度，而非依赖表面解释 [1][10] - 模型解释存在局限性，LLM生成的思维链可能看似合理但不可靠，需视为待验证假设而非结论 [1][16] - 当前模型忠实度(解释反映真实推理的程度)普遍较低，解释可能为事后编造而非实际推理路径 [16][17] 增强可靠性的技术方案 - 独立验证机制：要求AI提供决策依据(如医疗数据点/法律条文引用)并由独立模块或人工复核 [2][6] - 实时监控系统：通过神经元激活模式检测异常行为，如军用AI中监测绕过规则的内部讨论 [3][26] - 对抗性训练：设计特定场景诱使AI暴露奖励黑客行为(如客服AI为满意度盲目附和客户) [4][27] 行业应用规范 - 医疗领域需列出影响诊断的关键患者因素，法律领域必须引用先例条文，金融领域应说明欺诈标记特征 [6][32] - 欧盟AI法案等法规推动高风险系统透明度成为法律要求，需提供决策文档和解释工具 [5][34] - 模块化设计趋势：将黑箱系统拆分为可验证的小模块(如神经符号混合模型)提升可追溯性 [41][43] 技术前沿进展 - 涌现能力研究：模型规模扩大可能触发非线性能力跃升，但部分"飞跃"实为测量阈值效应 [13][15] - Transformer机理：自注意力机制通过多层信息检索组合实现类算法推理(如逐位加法) [18][20] - 可解释性工具：激活修补/因果探测等技术可逆向工程模型部分电路(如GPT-2加法算法) [24][26] 未来发展路径 - 训练优化：通过思路链蒸馏等技术强制模型表达真实推理，牺牲流畅性换取忠实度 [41][43] - 评估体系：建立"FaithfulCoT"等基准测试解释真实性，推动行业透明度标准 [42][43] - 监管框架：类比航空安全，通过AI许可证制度要求独立审计关键系统内部逻辑 [43]

鉴于上述困难，研究人员正在多个方面进行创新，以更好地理解和控制大型语言模型（LLM）的推理 方式。总体而言，两种互补的策略正在形成： 机械分析和归因：分解模型的内部计算（电路、神经元、注意力头），将特定的决策或步骤归因于特定 的组件。 行为评估和约束：设计评估指标和训练框架，区分真正的推理和表面模式，并鼓励模型在中间步骤中讲 真话。 一个有进展的想法是将 电路级可解释性与思路链验证相结合 。例如，人们可以使用 因果追踪 方法来查 看模型的哪些部分与思路链的每个步骤相对应地被激活，从而检查所声称的推理步骤是否在产生答案的 过程中发挥了因果作用。如果一个模型说："因此，由于原因 X，选项 C 是正确的"，我们可以验证与 原因 X 相关的神经元确实对选项 C 的对数有影响。Anthropic 的工作已经展示了追踪个体特征的可行 性：他们设法识别出能够检测 Claude 是否遵循用户提示的神经元。通过观察模型内部的信息流，他们 有效地 标记出一种"令人担忧的机制" ——模型在生成虚假推理路径时倾向于使用提示。进一步扩展， 我们可以想象一个自动化系统，它实时监控 LLM 的内部激活状态，以便及时发现其是否存在不良行为 ...

机器之心报道 编辑：杜伟 今天，一位研究者加入 OpenAI 的消息吸引了很多人的关注。 这位研究者名为 James Campbell，他才于 2024 年攻读 CMU 的计算机科学博士学位。现在，他突然宣布要 放弃博士学业，加入 OpenAI。 在社媒 X 上，他表示自己在 OpenAI 的 研究重心是「AGI 和 ChatGPT 的记忆 + 人格」，记忆将从根本改 变人类与机器智能的关系 。他将努力工作，确保正确地实现这一切。 他的加入连 OpenAI 联合创始人、总裁 Greg Brockman 都表达了欢迎。 那么，这位老兄是何方神圣呢？他的加入为什么引起了这么多的关注？我们来看一下他的履历。 他本科毕业于康奈尔大学，专业是数学与计算机科学。本科期间，他致力于 LLM 可解释性和真实性的研 究，还是两篇论文《Representation Engineering》和《Localizing Lying in Llama》的主要作者。 前一篇论文研究了表示工程：一种自上而下的 AI 透明性方法，后者研究了在 Llama 中定位谎言：通过提 示、探查和修补来理解判断题上的不诚实指令。 他还在 Gray Swa ...