基础模型研究资源与产出的关系 - 基础模型研究的进步高度依赖大规模数据、算力和人力资源，资源获取能力与研究成果影响力（如论文发表和引用量）直接相关 [2][3] - GPU是衡量研究成本的关键指标，因其供应有限且受严格控制，研究将GPU数量和TFLOPs与34,828篇顶级会议论文关联分析 [4] - 研究发现GPU获取能力越强，在八个顶级AI会议中的论文接收率和引用量也越高，共识别出5,889篇基础模型相关论文 [5] 研究方法与数据收集 - 研究覆盖2022年至2024年NeurIPS、ICLR、ICML等八个顶级机器学习会议的34,828篇论文，使用关键词搜索和GPT-4o mini分类识别出5,889篇基础模型论文 [8] - 通过系统API和GPT-4o mini提取论文结构化信息，并对229位基础模型论文一作（涉及312篇论文）进行问卷调查以收集计算资源使用数据 [11] - 人工校验与GPT提取数据对比显示，GPU数量、类型和时长信息的自动提取缺失率分别为59.7%、48.3%和88.6%，突显资源披露规范缺失 [16][17] 基础模型研究增长趋势 - 基础模型论文在顶级AI会议中的占比从2022年的2.07%飙升至2024年的34.64%，呈现爆炸式增长 [18][19][26] - 在NLP领域专业会议（如COLM、EMNLP、ACL）中，基础模型论文比例超过综合性机器学习会议，推理相关论文增长最快 [22][23] - 尽管论文数量激增，单个项目使用的GPU数量保持稳定，1到4个GPU的配置最为常见，约占一半比例 [25] 学术界与工业界研究格局 - 学术界611个机构共发表4,851篇论文，工业界163个机构发表1,425篇论文，谷歌和微软是论文产出最多的单一实体 [29][32] - 工业界研究者人均发表8.72篇论文，学术界人均发表7.93篇，研究效率相当，显示研究高度集中在能提供强大算力的顶级机构中 [31] - 美国和中国在基础模型研究产出方面处于领先地位，与两国在高等教育和AI领域的长期投入相关 [31] 模型选择与资源分布 - 开源模型（如LLaMA系列）是研究中使用最频繁的，因其灵活性和可访问性优于闭源模型（如GPT系列） [35][37] - NVIDIA A100是基础模型研究中使用最广泛的GPU，排名前十的GPU均来自NVIDIA家族 [38] - 专注于预训练的研究其GPU使用数量显著高于后训练或推理研究，但不同机构、领域或方法间的GPU使用量无显著差异 [41] 计算资源对研究产出与影响力的作用 - 一篇被接收的论文通常有5名作者，使用4个GPU，项目平均持续约5个月，TFLOPs衡量的总计算能力比GPU数量更能预测论文产出和引用量 [44][45] - 拥有更强算力支持的机构其研究成果往往获得更多引用，但算力并非决定性因素，许多高引用论文来自计算资源有限的机构 [45][46] - 对ICLR会议数据分析发现，被拒稿的论文比被接收的论文使用略少的GPU和TFLOPs，但差距微乎其微，审稿更关注新颖性而非资源多寡 [47] 研究资助来源 - 政府是基础模型研究的最大资助方，在披露资助信息的论文中，85.5%（848篇）获得政府资助，企业资助占29.3%，基金会资助占10.3% [41][42] - 一个国家的人均GDP与其资助的论文数量无必然联系，机构的支持力度和政策比单纯的国家经济实力更能影响研究产出 [41]