Workflow
AI里最大的Bug,却也是人类文明最伟大的起点。
数字生命卡兹克·2025-09-08 09:04

AI幻觉现象的本质 - AI在面对未知问题时倾向于猜测而非承认无知 这源于训练过程中的系统性奖励机制 [4] - 模型在SimpleQA测试中显示 o4-mini模型以75%错误率和仅1%弃权率换取24%准确率 而gpt-5-thinking-mini模型以26%错误率和52%弃权率获得22%准确率 [7] - 幻觉被证明是AI在现有评估体系下演化出的最优应试策略 而非技术缺陷 [8] 幻觉产生的技术根源 - OpenAI通过Is-It-Valid(IIV)框架将生成过程简化为有效性二元判断问题 [8] - 孤例率(Singleton rate)概念指出 当信息在训练数据中仅出现一次时 模型判断真假的错误概率显著提升 [11][12] - 类比动物识别任务:区分猫狗可基于规律 而记忆宠物生日属于无规律随机信息 导致模型只能依赖死记硬背 [9][10] 关于幻觉的反常识结论 - 准确率永远无法达到100% 因部分问题本身无解 存在信息缺失和逻辑矛盾 [14] - 模型规模与诚实度非正相关 小模型在未知领域更易承认无知 而大模型因部分知识掌握反而倾向猜测 [14] - 现有数百个主流评估指标均奖励猜测行为 单纯开发幻觉测试工具无法解决根本问题 [15] 幻觉与人类创造力的类比 - 人类祖先面对自然现象时通过创造神话解释未知 这种集体幻觉成为文明起源 [19][23][24] - 人类独有能力在于为虚构故事协同行动 如建造金字塔或建立国家制度 [28][29][30] - 科学突破如日心说和相对论最初均被视为离经叛道的幻觉 [32] AI幻觉的双重属性与未来方向 - 在医疗诊断等严肃领域需要绝对真实的工具型AI [35] - 在诗歌创作等创意领域需要突破事实枷锁的幻觉能力 [36] - 终极目标在于构建既拥有机器严谨性又具备人类浪漫主义的矛盾体 [40]