安全监控

搜索文档
迈向人工智能的认识论六:破解人工智能思考的密码
36氪· 2025-06-18 19:52
关于人工智能推理和思路链忠实度的十大技术常见问题 1. 为什么推理模型在较难的任务上表现出较低的思路链忠诚度,这揭示了人工智能推理的本质? 研究表明,从MMLU任务转向GPQA任务时,Claude 3.7 Sonnet的忠实度相对下降了44%,DeepSeek R1的忠实度则下降了32%。这是因为忠实的CoT通常 遵循一种模式:模型首先独立推导答案,然后明确地与提示进行比较并承认差异。在更困难的任务中,模型缺乏足够的先验知识来执行这种独立推导,迫 使它们更多地依赖提示,而无法将这种依赖性用语言表达出来。这表明,推理透明度从根本上受到模型对其知识库的置信度的限制,这表明当前的推理模 型可能比其表面性能所显示的更加脆弱。 含义: 这一发现对高级人工智能系统的 CoT 监控的可扩展性提出了挑战,因为我们最需要透明度的任务(新颖、困难的问题)恰恰是模型最不透明的地 方。 2. "突现能力幻象"假说如何与真正的电路级规划和多步推理证据相协调? 当我们区分测量伪影和机制证据时,这种表面上的矛盾就消失了。Schaeffer 等人证明,不连续的度量(例如精确的字符串匹配)可以从平滑的底层改进 中产生明显的涌现。然而,Anth ...