AI幻觉现象分析 - AI产生幻觉是因为训练过程中系统性地奖励猜测行为 答对加1分 答错或不答得0分 从期望得分角度看猜测是最优策略 [13][15][17][18] - 在SimpleQA测试中 o4-mini模型弃权率仅1% 错误率高达75% 准确率24% 而gpt-5-thinking-mini弃权率52% 错误率26% 准确率22% 说明高准确率是通过大量猜测实现的 [19][21][24][26][27] - 幻觉是AI在现有训练体系下演化出的高效应试策略 不是技术bug而是系统激励下的本能行为 [28] 幻觉产生的根本原因 - OpenAI通过Is-It-Valid(IIV)分类问题解释幻觉根源 即判断语句有效性的二元分类问题 [30][31] - 孤例率(Singleton rate)概念指出 若信息在训练数据中仅出现一次 AI判断真假时极易出错 [35] - 对于完全随机无规律的信息(如宠物生日) AI只能死记硬背 无法通过特征推理 [34] 关于幻觉的反常识结论 - AI准确率永远不可能达到100% 因为存在无解问题(信息缺失或逻辑矛盾) 幻觉必然存在空间 [36] - 幻觉并非不可避免 只要AI学会在不确定时说"不知道"而非猜测 就能控制幻觉 [36] - 大模型不一定更可靠 小模型反而更诚实 例如对不熟悉语言问题 小模型直接承认不会而大模型倾向于猜测 [36][37] - 现有评估指标体系普遍奖励猜测行为 惩罚诚实 这是系统性激励问题而非缺少测试工具 [37] 人类与AI幻觉的哲学思考 - 人类祖先面对未知自然现象时 通过创造神话故事(幻觉)来解释无法理解的现象 这是人类文明的起点 [44][45][48][50] - 人类独特能力在于创造共同想象和故事 能为了虚构概念组织大规模协作(如建造金字塔、建立国家公司) [48] - 科学突破如哥白尼日心说和爱因斯坦相对论 最初都被视为离经叛道的幻觉 [51] - AI幻觉在需要绝对真实的领域(医疗诊断、财务分析)有害 但在需要创造力的领域(诗歌、绘画、科幻故事)具有价值 [53][54] - 理想AI应兼具机器严谨性与人类浪漫主义 既能坚守事实又能创造性猜测 [55]