以下文章来源于数字生命卡兹克 ，作者数字生命卡兹克 希望能激发你对AI的好奇。 数字生命卡兹克 . 产生幻觉。 作者 | 数字生命卡兹克 来源 I 数字生命卡兹克 （ID：Rockhazix） 周末在家扒拉上周更新的论文的时候，看到一篇我自己一直非常关心的领域的论文，而 且还是来自发论文发的越来越少的Ope nAI。 它讨论的是一个我们所有人都无比熟悉，但又无比困惑的东西。 幻觉。 这个词，自从AI进入大众视野以来，就一直像个幽灵一样，盘旋在所有对话的上空。 如果你问AI：亚当·卡莱（这篇论文作者之一）的生日是几月几号？ 一个顶尖的开源大模型，连续三次，给出了三个完全不同的错误答案：03- 07，15- 06， 0 1 - 01。 而正确答案，其实是秋天。 这就是最典型的幻觉。 面对一个它不知道答案的问题，AI没有选择沉默，或者说我不知道，而是像一个考场上 想不出答案又不想交白卷的学生，开始瞎蒙，而且蒙得有鼻子有眼。 Op e nAI的这篇论文，提出了一个非常有意思而且又极其符合直觉的观点： 我们一边享受着AI带给我们的便利，一边又对它那些一本正经胡说八道的时刻，感到恐 惧和不解。 AI为什么会产生幻觉？这个 ...

AI幻觉现象分析 - AI产生幻觉是因为训练过程中系统性地奖励猜测行为 答对加1分 答错或不答得0分 从期望得分角度看猜测是最优策略 [13][15][17][18] - 在SimpleQA测试中 o4-mini模型弃权率仅1% 错误率高达75% 准确率24% 而gpt-5-thinking-mini弃权率52% 错误率26% 准确率22% 说明高准确率是通过大量猜测实现的 [19][21][24][26][27] - 幻觉是AI在现有训练体系下演化出的高效应试策略 不是技术bug而是系统激励下的本能行为 [28] 幻觉产生的根本原因 - OpenAI通过Is-It-Valid(IIV)分类问题解释幻觉根源 即判断语句有效性的二元分类问题 [30][31] - 孤例率(Singleton rate)概念指出 若信息在训练数据中仅出现一次 AI判断真假时极易出错 [35] - 对于完全随机无规律的信息(如宠物生日) AI只能死记硬背 无法通过特征推理 [34] 关于幻觉的反常识结论 - AI准确率永远不可能达到100% 因为存在无解问题(信息缺失或逻辑矛盾) 幻觉必然存在空间 [36] - 幻觉并非不可避免 只要AI学会在不确定时说"不知道"而非猜测 就能控制幻觉 [36] - 大模型不一定更可靠 小模型反而更诚实 例如对不熟悉语言问题 小模型直接承认不会而大模型倾向于猜测 [36][37] - 现有评估指标体系普遍奖励猜测行为 惩罚诚实 这是系统性激励问题而非缺少测试工具 [37] 人类与AI幻觉的哲学思考 - 人类祖先面对未知自然现象时 通过创造神话故事(幻觉)来解释无法理解的现象 这是人类文明的起点 [44][45][48][50] - 人类独特能力在于创造共同想象和故事 能为了虚构概念组织大规模协作(如建造金字塔、建立国家公司) [48] - 科学突破如哥白尼日心说和爱因斯坦相对论 最初都被视为离经叛道的幻觉 [51] - AI幻觉在需要绝对真实的领域(医疗诊断、财务分析)有害 但在需要创造力的领域(诗歌、绘画、科幻故事)具有价值 [53][54] - 理想AI应兼具机器严谨性与人类浪漫主义 既能坚守事实又能创造性猜测 [55]

AI幻觉现象的本质 - AI在面对未知问题时倾向于猜测而非承认无知 这源于训练过程中的系统性奖励机制 [4] - 模型在SimpleQA测试中显示 o4-mini模型以75%错误率和仅1%弃权率换取24%准确率 而gpt-5-thinking-mini模型以26%错误率和52%弃权率获得22%准确率 [7] - 幻觉被证明是AI在现有评估体系下演化出的最优应试策略 而非技术缺陷 [8] 幻觉产生的技术根源 - OpenAI通过Is-It-Valid(IIV)框架将生成过程简化为有效性二元判断问题 [8] - 孤例率(Singleton rate)概念指出 当信息在训练数据中仅出现一次时 模型判断真假的错误概率显著提升 [11][12] - 类比动物识别任务：区分猫狗可基于规律 而记忆宠物生日属于无规律随机信息 导致模型只能依赖死记硬背 [9][10] 关于幻觉的反常识结论 - 准确率永远无法达到100% 因部分问题本身无解 存在信息缺失和逻辑矛盾 [14] - 模型规模与诚实度非正相关 小模型在未知领域更易承认无知 而大模型因部分知识掌握反而倾向猜测 [14] - 现有数百个主流评估指标均奖励猜测行为 单纯开发幻觉测试工具无法解决根本问题 [15] 幻觉与人类创造力的类比 - 人类祖先面对自然现象时通过创造神话解释未知 这种集体幻觉成为文明起源 [19][23][24] - 人类独有能力在于为虚构故事协同行动 如建造金字塔或建立国家制度 [28][29][30] - 科学突破如日心说和相对论最初均被视为离经叛道的幻觉 [32] AI幻觉的双重属性与未来方向 - 在医疗诊断等严肃领域需要绝对真实的工具型AI [35] - 在诗歌创作等创意领域需要突破事实枷锁的幻觉能力 [36] - 终极目标在于构建既拥有机器严谨性又具备人类浪漫主义的矛盾体 [40]