文章核心观点 - OpenAI最新研究揭示语言模型幻觉产生的根本原因在于其统计学习本质，且后训练过程在当前评估体系下未能有效抑制幻觉，GPT-5可能通过非二元评估技术显著降低幻觉率 [9][12][24][32] 幻觉产生的必然性 - 幻觉是语言模型预训练阶段不可避免的副产品，因模型本质是通过统计规律生成内容，而非真实判断 [11][12] - 模型通过"是否有效"（IIV）判断器评估句子概率，但面对数据稀疏、复杂概念或训练数据错误时必然失效 [13][14] - 生成模型的错误率至少是IIV判断器错误率的2倍，因单个判断错误会衍生多种幻觉（如1+1=3和1+1≠2均属幻觉） [15][16] 后训练的局限性 - 后训练通过偏好反馈改变概率分布，将概率集中到"最佳答案"以减少不确定性幻觉，但可能增加过度自信风险 [19][20] - 主流评估基准（如GPQA、MMLU-Pro、SWE-bench）采用二元评分制，仅区分正确（1分）或错误（0分），系统性地惩罚"我不知道"的回答 [21][23] - 当前评估标准奖励猜测行为而非诚实回答，导致后训练在实践中未能有效引导模型降低幻觉 [24] 模型性能对比与技术路径 - DeepSeek R1采用二元奖励模型（ORM），在Vectara HHEM测试中幻觉率达14.3%，远高于其预训练模型DeepSeek V3的3.9% [30][31] - OpenAI o3使用过程奖励模型（PRM），通过逐步推理反馈降低幻觉率至6.8%，仅为DeepSeek R1的一半 [32] - GPT-5可能引入Universal Verifier技术，采用非二元评估标准（如评分细则Rubric），从根源上减少二元激励的负面影响 [32] 解决方向 - 后训练需引入带惩罚的评分机制，例如答对得1分、答错扣1分、过度自信答错扣9分，迫使模型成为"风险评估器"而非"得分优化器" [33] - 模型需专注于真实性而非单纯得分优化，才可能从根本上解决幻觉问题 [34]

智能驾驶与AI安全 - 智能驾驶行业当前面临严重安全隐患 强调"安全是1 跑得快是0"的核心逻辑 [6][7][8] - 小米近期疑似因智能驾驶系统故障导致重大车祸 凸显技术落地风险 [7] - 行业论坛明确提出"对智能驾驶来说 安全是最大的奢侈" 反映监管趋严态势 [6] AI模型幻觉问题 - DeepSeek-R1模型在Vectara HHEM测试中幻觉率达14.3% 是V3版本的3倍 [14][15] - 医疗场景测试显示模型对错误答案置信度常高于正确答案 存在系统性风险 [22] - 模型幻觉根源于训练数据噪声/过拟合/生成策略不可控 属于统计学固有缺陷 [25][26][27] AI医疗应用风险 - IBM Watson被曝训练数据包含假设性案例 暴露标注质量隐患 [31] - 模型存在四大诊断偏差：过度自信/锚定效应/确认偏误/归因偏差 [29][32][37][42] - 罕见病诊断场景中 模型受概率统计限制易忽视低频关键症状 [37][41] 安全防控策略 - 严肃领域AI需构建"症状-疾病网络"检查机制 强制覆盖所有实体组合 [61] - 建议采用多模型交叉验证机制 如用DeepSeek校准ChatGPT输出 [58] - 医疗诊断需配置10人分析师团队分角色验证 建立多重校验体系 [62] 行业发展路径 - 技术路线出现分化：严格SOP控制型 vs 全模型驱动型 [48][51][54] - 医疗等严肃领域必须采用SOP负责制 拒绝纯模型自主决策 [54] - 行业共识转向"安全是1 有效是0" 优先构建安全体系 [55][65][68]