文章核心观点 - 大型语言模型产生幻觉的根本原因在于训练和评估机制系统性地奖励猜测行为而非诚实表达不确定性[2][3] - 幻觉问题深植于模型构建的两个核心环节：预训练和后训练[3] - 解决方案需通过修改行业主导的评估基准引入显式置信度目标实现激励机制变革[8] 预训练阶段幻觉起源 - 模型通过统计学习掌握语言概率分布时隐式进行"是否有效"二元分类任务[4] - 即使训练数据完全正确 模型为拟合整体分布仍会生成统计合理但事实错误的陈述[4] - 对于训练数据中极少出现的"任意事实" 模型幻觉率至少等于该事实在数据集中仅出现一次的比例[5] - 当模型结构不足以捕捉任务复杂性时会产生幻觉 例如不具备字符级推理能力的模型执行字符计数任务[5] 评估体系加剧幻觉 - 主流评估采用二元评分机制：正确答案得1分 错误答案或不回答均得0分[6] - 该机制使模型在不确定时选择猜测成为最优策略 诚实表达"我不知道"的模型得分必然低于总是猜测的模型[7] - GPQA MMLU-Pro SWE-bench等主流基准测试均采用此类评分方式[7] - 即使采用语言模型评分者的测试中 表达"不知道"的得分可能低于包含部分事实错误的回答[7] 解决方案与行业影响 - 需在主流评测中引入显式置信度目标 例如明确告知模型评分规则：错误答案扣9分 正确答案得1分 "不知道"得0分[8] - 该方法不要求模型输出精确概率值 而是引导其根据真实置信度调整行为[8] - 评估体系变革能更公平评估模型真实能力 引导行业开发更值得信赖的AI系统[8] - 报告呼吁对行业核心评估体系进行系统性改革 为构建可靠人工智能提供新视角[9] 知识库资源 - 欧米伽未来研究所运营的未来知识库平台拥有超过8000篇前沿科技资料[11] - 每周更新不少于100篇世界范围最新研究报告[11] - 知识库涵盖人工智能 脑科学 能源 经济等十余个前沿领域[11] - 收录包括牛津 斯坦福 麦肯锡 联合国等机构发布的191页技术政策分析 260页幸福报告等深度研究[13]