奥特曼使用大模型的方法，竟然是错的？ 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 来自沃顿商学院等机构的最新研究发现，备受奥特曼喜爱的 "直接回答"提示，竟然会显著降低模型准确率 。 不过另一方面，这项研究也发现， 在提示词中加入思维链（CoT）命令同样不好用 —— CoT提示对于推理模型非但没有效果提升，反而会增加时间和计算成本。 而一些前沿的非推理模型，CoT提示可以带来效果提升，但答案的不稳定性也随之增加了。 研究团队使用GPQA Diamond数据集，针对现在主流的推理和非推理模型，分别在启用和不启用CoT的情况下进行了测试。 结果就是对于推理模型，CoT的作用十分有限，比如对于o3-mini，CoT带来的准确率提升只有4.1%，但时间却增加了80%。 非推理模型的结果则要复杂一些，但总之要不要用CoT，也需要对收益和投入进行仔细权衡。 所以CoT到底该不该用呢？ 实际上，这项研究针对的是用户提示词中的CoT命令，并不包括系统提示词设定，更 不是CoT本身 。 CoT提示词作用有限，甚至还有反效果 结果， 对于非推理模型，CoT提升相比于直接回答，所有模型的平均评分和"51%正确"指标都有 ...