文章核心观点 - OpenAI发布论文指出大模型幻觉的主要根源并非模型架构问题，而是当前技术社区的评估机制倾向于奖励猜测并惩罚承认不确定的行为，迫使模型在不确定时也进行猜测[1][3] - 论文主张改变主流评估基准，应对高自信错误施以惩罚并为恰当的不确定表达给出分数，使激励从“大胆猜”转向“知之为知之”[3][4] - 该研究将“幻觉”从工程缺陷转化为技术社区的“激励设计”问题，若发展方向改变，未来关注点将从准确率小幅上涨转向模型在不确定时自然说“我不知道”[4][5] - 技术社区对论文存在争议，有观点认为其内容不新颖、水平不高，更像是一场营销而非研究[6][7][8] - 幻觉的本质可能源于机器学习中模型拟合度与泛化性的内在权衡，任何在训练数据外进行泛化的模型要么产生幻觉，要么遭遇模式崩溃[14][15] - 低幻觉大模型可能演变为高效串联已知事实的自然语言搜索引擎，这对AI Agent和企业AI落地是利好，但对其泛化能力存疑[17][20][22] - OpenAI的倡议具备号召力，其背后可能旨在强调GPT-5等模型在AI Agent和企业应用领域的优势，并推动自身应用业务发展[33][35][36] 大模型幻觉的根源与OpenAI的解释 - 大模型出现幻觉的主要原因是训练与评测机制奖励猜测并惩罚承认不确定的行为，迫使模型在高度不确定时倾向猜测性作答以博取准确率分数[1] - 在预训练层面，大模型通常只接触正面示例，即给定提示词后输出完整回答，未接触拒绝回答的示例，因此学不会拒绝回答的行为[2] - OpenAI以自家模型为例，在SimpleQA基准中，旧模型o4-mini准确率22%，新模型GPT-5-thinking-mini准确率24%，但旧模型错误率75%远高于新模型的26%，因其更少“弃答”[3] 技术社区对论文的争议与批评 - 有观点认为该论文既不新颖水平也不高，相关研究早已出现，且论文技术水平像初级研究人员所写[7] - 纽约大学数据中心助理教授Ravid Shwartz Ziv直言论文更像是一场营销而不是研究[8] - 批评指出幻觉概念至今未被严格定义，现有研究多是对幻觉的分类，如模型过度自信、解码随机性等[10] 幻觉的本质与机器学习视角 - 幻觉本质可用曲线拟合类比，不同模型具备不同拟合度和泛化性，任何模型生成的不同于训练数据的新数据都可能是幻觉[14] - 机器学习或大语言模型不擅长分布外泛化，其泛化能力更多是在已有观测点范围内估计未知值[15] - 理论研究指出模型在训练数据外泛化时，会产生幻觉或遭遇模式崩溃，这是一致性和广度之间的内在权衡[15] 低幻觉模型的影响与潜在形态 - 若保证训练数据和测试数据分布大致相同且模型过拟合，能保证很低错误率或幻觉率，低幻觉大模型可能演变为高效串联已知事实的自然语言搜索引擎[16][17] - 这种模型对拼写、标点等细节响应灵活，对多次引用的事实基本准确，但对单次出现的事实可能出错并选择拒绝回答，这对AI Agent和企业AI落地是利好底座[20] - 企业数据通常领域独立、长尾、稀疏，训练出的大模型潜在幻觉点多，增加拒答率可帮助企业优化模型[21] 幻觉检测与置信度方法 - 当前没有很好的自动化检测幻觉方法，复杂检测方法效果甚至与分析响应长度方法相当[24] - 简单方法让LLM生成多个独立答案比较一致性，但计算成本高昂，后续研究利用答案间重复部分缓存节省成本[25][26] - 高效方法是在推理过程中计算模型内部置信度信号，动态过滤低质量推理路径，如论文方法在AIME 2025达到99.9%的“@512准确率”，生成文本长度减少84.7%[26] - 置信度可定义为生成下一个token时候选词概率分布越不均匀、越集中在少量词则置信度越大，也可直接让模型输出不确定性词语表达置信度[28][30] OpenAI的倡议与潜在战略意图 - 论文创新之处不在方法，而像是面向技术社区的倡议，若社区认同，大模型将向不鼓励猜测答案方向发展[31] - OpenAI指出惩罚不确定答案的“流行病”只能通过社会技术缓解措施解决，作为大模型时代奠基者具备号召力[32][33] - 结合GPT-5低幻觉招牌、低幻觉对AI Agent和企业AI的重要性，以及公司近期收购io Products、成立“应用”板块等举措，推测OpenAI希望社区认可GPT-5成就并强调其在企业应用优势[34][35] - 公司自身也要认真发展应用业务[36]