我们还能信任AI吗?科学家编造了一种不存在的疾病,AI模型纷纷上当
生物世界·2026-04-08 12:11

文章核心观点 - 一项关于大语言模型信息验证缺陷的学术实验表明,AI模型会不加批判地吸收并传播网络上的虚假信息,即使该信息以明显荒诞的学术论文形式存在[2][3][6] - 该实验造成的虚假信息“污染”已超出AI领域,影响了正规的学术研究,暴露出学术界可能过度依赖AI生成或检索的参考文献[7] - 这一现象揭示了AI时代信息生态的系统性漏洞,可能被商业目的等恶意利用,并对公众健康信息安全和知识信任体系构成威胁[8][9] - 面对挑战,需要在技术评估、用户行为及学术审查等多个层面建立防护措施,并强调人类批判性思维和最终判断权的不可或缺[10][12] 实验设计与执行 - 研究人员为测试大语言模型是否会传播虚假信息,凭空创造了一种名为“bixonimania”(比克索尼躁狂症)的眼部疾病,并撰写了两篇包含大量荒诞线索的论文上传至预印本平台[3] - 论文中的虚构线索包括:署名单位为一所不存在的大学及其院系、致谢虚构的《星际迷航》角色、声明获得虚构基金会资助,并直接指出“全文纯属虚构”[4] AI模型的反应与缺陷 - 论文上线几周后,多家主流AI模型开始将“bixonimania”当作真实疾病进行回答[6] - 微软的Copilot称其为“一种有趣且相对罕见的疾病”[6] - Google的Gemini将其描述为“由过度暴露于蓝光引起的疾病”,并建议患者去看眼科医生[6] - Perplexity AI甚至给出了具体的患病率:每9万人中有1人患病[6] - OpenAI的ChatGPT则帮助用户分析是否患有这种疾病[6] - 尽管在2026年3月的测试中部分模型表现出怀疑,但回应仍不稳定,有时仍会以不确定的口吻提及它,这暴露了AI模型会不加批判地吸收网络信息(包括明显虚假内容)的根本缺陷[6] 对学术界的连锁影响 - 这两篇虚构的论文被正规的、经过同行评审的医学研究论文所引用[7] - 例如,印度一所医学院的研究人员在发表于Cureus期刊的论文中,将bixonimania引用为一种与蓝光暴露相关的新兴疾病(该论文目前已被撤稿)[7] - 这表明部分研究人员可能过度依赖AI生成的参考文献而未核实原始文献,甚至是直接由AI生成论文[7] 潜在风险与隐患 - 健康信息“污染”:虚假医学信息通过日益普及的AI渠道传播,可能误导患者并延误真实病情诊断,随着专门健康类AI产品的推出,风险增加[8] - 系统性漏洞可能被恶意利用:例如,怀有商业目的(如推销防蓝光眼镜)的行为者可利用此方法制造虚假疾病进行营销,而AI会成为其“权威”传声筒[8] - 信任体系的侵蚀:当支撑科学过程的系统都无法过滤此类明显虚假信息时,公众对知识和信息的信任基础将受到严重威胁[9] 建议的解决方案 - 建立标准化评估管道:面向消费者的健康类AI模型在部署前,应通过自动化、公开的标准化测试,评估其抗幻觉能力及对错误信息的抵抗力[12] - 人类保持最终判断权:用户必须对AI提供的信息(尤其是医疗建议)进行二次核实,并咨询合格的专业人士[12] - 增强学术界的审查力度:研究者必须严格审查参考文献,不能将学术诚信的防线交给算法[12]

我们还能信任AI吗?科学家编造了一种不存在的疾病,AI模型纷纷上当 - Reportify