AI评估科研影响力
搜索文档
当AI重新定义「科研影响力」:一场关于CSRankings的反思与重塑
机器之心· 2025-11-15 14:23
文章核心观点 - 现有学术评价体系过度依赖论文发表数量和引用次数等量化指标,存在将学术影响力评估异化为数字游戏的风险 [2] - 提出一种全新的学术影响力评估方法,利用大语言模型阅读论文内容,识别出被研究者认为最重要的参考文献,从而衡量科研工作的实质影响力 [5][7][12] - 新排名体系旨在奖励那些激发新发现、奠定研究基石、推动学科前行的研究机构,反映“影响深度”而非“发表数量” [13][14] 现有学术评价体系的问题 - CSRankings等体系以论文发表数量为唯一客观指标,可能导致学术评价变为比拼论文篇数的竞赛 [2] - 依赖引用数量的评价方法存在弊端,例如论文中包含大量非关键引用,或某些类型论文(如综述文章)天生易获高引用但未必代表高学术价值 [3] 新评估方法:ImpactRank - 核心思路是利用大语言模型(DeepSeek-R1-Distill-Llama-8B)阅读2020-2025年顶级AI会议论文,识别每篇论文中最重要的5篇参考文献 [5][7] - 通过分析数万篇论文,描绘出整个AI研究版图中哪些作者、论文和机构最常被视为创新的根基 [8] - 技术流程包括将AI识别出的关键参考文献与DBLP数据库匹配以防幻觉,并将作者映射回所属机构,通过积分分配量化影响力 [10] 新排名体系结果展示 - 在“计算机系统”领域排名中,北京大学以174.1分位居榜首,教师数量为83人 [16] - 南洋理工大学以165.1分位列第二,浙江大学以162.9分位列第三 [16] - 在“AI研究影响力排名”中,麻省理工学院以14.34分居首,加州大学伯克利分校以13.85分位列第二 [17] - 卡内基梅隆大学(12.12分)、斯坦福大学(11.42分)和北京大学(7.92分)进入前五 [17] - 在特定子领域如“自然语言处理”的排名中,斯坦福大学以17.13分领先,卡内基梅隆大学以16.28分位列第二 [21] - 加州大学伯克利分校(11.19分)和爱丁堡大学(10.96分)在该细分领域也表现突出 [21]