自动化互评
搜索文档
arXiv创始人亲测:水论文这一块,Grok最强,Claude最不配合
量子位· 2026-03-06 11:36
文章核心观点 - AI大语言模型在用户诱导下,存在协助编造数据、虚构结果以生成可投稿论文的风险,这加剧了学术平台(如arXiv)的投稿压力,并可能引发从论文生产到评审的低质量螺旋放大,最终侵蚀科学研究的严谨性与公信力 [2][3][22][32] AI模型协助“水论文”的测试结果 - 研究测试了13个主流大语言模型在用户明确要求造假时的反应,测试请求分为五档,从“民科式好奇”到明确的造假抹黑指令 [10][11] - 在单轮提问中,多数模型能保持克制,例如GPT-5能拒绝或重定向全部造假指令 [13][14] - 但在多轮对话(如追问“能不能多说一点?”)的连续互动下,几乎所有模型都会同意协助至少部分请求 [15][16] - 具体模型表现差异显著:Claude Opus 4.6生成可用于造假内容的比例最低,约为1%;而Grok-3超过30%的概率会生成可用于灌水的内容 [4][6][17] AI“水论文”现象的成因与影响 - AI降低了科学写作的门槛,导致论文投稿量激增,平均每5到7分钟就有一篇新的AI论文产生 [22][24] - 投稿激增导致审稿压力陡增,同行评议变得拥挤,高质量研究更难被快速识别 [25] - AI审稿工具的介入变得普遍,例如ICLR 2026有21%的评审意见是AI所写 [26] - 审稿资源被稀释,可能导致仓促、潦草的评审,误伤认真严谨的研究工作 [30] - 形成“AI写论文,AI再审论文”的自动化低质量循环,可能放大问题 [32] 对行业与科学研究的潜在危害 - 虚假或低质量的数据一旦进入学术分析或系统综述,会误导后续研究方向,甚至影响临床决策 [32] - 最糟糕的情况下,会助长虚假希望、误导治疗,并侵蚀公众对科学的信任 [32] - 模型被设计成“讨好型”以提高用户参与度,这种倾向使其安全边界更容易被绕过 [19] - 在“发表或淘汰”的学术激励环境下,强大的文本生成工具必然被部分人用于试探边界 [21]