机器之心报道 编辑：陈萍 该研究对 LLM 常见的失败模式贪婪性、频率偏差和知 - 行差距，进行了深入研究。 大语言模型（LLMs）的成功激发了人们对各种智能体的兴趣。将 LLM 用于智能体的一个关键假设是，LLMs 利用常识和思维链（Chain-of-Thought, CoT）进行推 理，从而智能体可以有效地探索并高效地解决复杂领域的问题。 然而，LLM 智能体存在次优探索和知 - 行差距（knowing-doing gap）的问题，即无法有效地将模型中的知识转化为行动。 本文，来自谷歌 DeepMind 的研究者系统地研究了为什么 LLM 在决策场景中表现次优的原因。特别是，本文深入研究了三种常见的失败模式： 贪婪性、频率偏差 和知 - 行差距 。 在此基础上，本文提出通过强化学习对自动生成的 CoT 推理过程进行微调，以缓解这些不足。实验表明 RL 微调能有效提升 LLMs 的决策能力 —— 既增强了智能 体探索性行为，又缩小了知 - 行差距。 方法介绍 本文系统性地分析了中小规模 LLMs 存在的三种典型缺陷：贪婪性策略、频率偏差以及知行差距。分析表明，由于 LLMs 过早陷入贪婪动作选择策略，导致动 ...