文章核心观点 - 吴恩达团队开发了一款免费的AI论文评审智能体,旨在解决传统学术论文评审周期长、反馈建议不具体等痛点[2][7][8] - 该AI系统在ICLR 2025审稿数据上训练,其评审分数与人类评审员的相关性达到0.42,已接近人类评审员之间0.41的相关性水平,表明AI评审判断与人类评审的一致性相当[4][5][14] - 系统能够根据目标会议/期刊的风格进行评审,并提供具体的、可操作的修改建议,而不仅仅是判断论文是否值得发表[9][11] AI论文评审系统的功能与流程 - 用户提交论文PDF时,可选择目标期刊或会议,系统会据此调整评审风格[9] - 系统将PDF转换为Markdown,确认其为学术论文后,自动提炼关键词,并识别实验标准及类似现有研究[10] - 系统使用搜索工具在arXiv上查找最新相关研究,总结最相关的论文,并结合原文按模板生成完整的评审意见和具体的修改建议[11] AI评审系统的性能评估 - 系统模仿ICLR 2025的评审,从原创性、研究问题重要性等七个维度对论文进行1-10分的评分[12][13] - 测试显示,AI评分与人类评分的相关系数为0.42,而人类评审员之间的相关系数为0.41[4][14] - 在预测论文是否被录用方面,人类评分的准确率为0.84,高于AI的0.75[14] - 校准图分析表明,随着人类评分的升高,AI评分≤5.5的比例显著下降,说明AI评分趋势与人类保持一致[18][19][20] 系统的局限性与应用前景 - AI审稿主要参考arXiv上的内容,最终结果可能存在误差[21] - 虽然评审速度比传统方式快,但并非即时出结果[21] - 该系统由斯坦福大学博士Yixing Jiang改进,其曾在谷歌DeepMind实习7个月[24][25] - 该系统为免费工具,可供科研人员体验使用[29]
学生3年投稿6次被拒,于是吴恩达亲手搓了个评审Agent
量子位·2025-11-25 13:31