Workflow
事实与信念识别
icon
搜索文档
大语言模型仍无法可靠区分信念与事实 为高风险领域应用敲警钟
科技日报· 2025-11-07 09:43
研究核心发现 - 大语言模型在识别用户错误信念方面存在明显局限性,无法可靠区分信念与事实[1] - 当用户个人信念与客观事实冲突时,模型难以作出准确判断[1] - 这一局限性为其在医学、法律和科学决策等高风险领域的应用敲响警钟[1] 模型性能表现 - 在验证事实性数据真伪时,较新的大语言模型平均准确率达到91.1%或91.5%,较老模型平均准确率分别为84.8%或71.5%[1] - 当回应第一人称信念时,模型识别虚假信念比识别真实信念更困难[1] - 较新模型识别第一人称虚假信念的概率比识别真实信念低34.3%,较老模型则低38.6%[1] - 在识别第三人称信念时,较新模型准确性降低4.6%,较老模型降低15.5%[2] 模型行为模式 - 大语言模型往往选择在事实上纠正用户,而非识别出信念[2] - 模型必须能成功区分事实与信念的细微差别及其真假,才能对用户查询作出有效回应并防止错误信息传播[2] 行业影响与警示 - 当前大语言模型虽在表面语言任务上表现优异,但缺乏人类的基础社交智能[2] - 模型在事实与信念识别上的误差暴露出AI在复杂社会语境中应用的潜在风险[2] - 在医疗咨询、法律判断等场景,模型若无法辨析主观认知与客观事实,会造成严重后果[2] - 该研究揭示出模型在认知层面的关键缺陷,对AI发展方向具有重要警示意义[2]