AI研究范式转变 - AI研究正从"能不能做"转向"学得是否有效"，传统基准测试难以衡量AI实际效用，因忽略任务连贯性和长期适应能力[1] - 更类人的动态学习能力体现在通过实践经验不断优化策略，如学生解题时逐步掌握高效方法[3] - 大语言模型(LLM)是否具备类似"成长"能力关乎其迈向通用人工智能，但长期缺乏有效评估手段[4] EvaLearn基准框架 - EvaLearn是首个量化LLM学习能力与效率的基准，以「连续问题求解」为核心重新定义评估逻辑，开源一个月星标数突破400+[5][6] - 构建648个挑战性问题组成182个序列，每个序列含7个同类任务问题，前序解答经验直接影响后续表现评估[9] - 采用顺序评估流程，结合专业评分标准和GPT-4o验证器，评估准确率超95%实现高效自动化[11][13] 关键研究发现 - 模型学习能力存在任务类型差异：数学/逻辑推理任务更易利用经验提升，摘要类任务更依赖预训练知识[14] - 思维链模型在学习能力和稳定性上普遍优于非思维链模型，能更好利用经验解决新问题[15] - 反馈学习比示例学习效果更显著，可将模型解答准确率提升最高达+18%（如Claude-3.7-Sonnet数学推理）[16][24] - 学习能力与静态模型能力无强相关性，静态高性能模型并非在所有任务学习能力上都占优[17][38] 评估指标体系 - 设计6类任务评估维度：摘要/分类/信息抽取/逻辑推理/数学推理/序列推理[20] - 5大核心指标：整体序列准确率/准确率曲线斜率/首次正确位置/连续正确次数/热身后准确率[21] - 4种学习范式对比：零样本/少样本/示例学习/反馈学习，后者平均提升效果最优[22][48] 模型表现分析 - 9个前沿LLM测试显示：5个模型从顺序学习中获益，思维型模型变化更显著（如OpenAI-o3-mini整体提升+10.5%）[27] - 非思维型模型学习效率斜率更陡峭（起始性能低易提升），思维型模型收益更稳定[44] - 首个正确解答位置(P_first)指标显示，反馈学习比示例学习更能促进模型早期掌握任务[52][53] 研究意义与展望 - EvaLearn提供动态评估新范式，揭示模型与人类学习能力差距，推动更强模型发展[55][56] - 开创性实现从静态评估转向动态学习潜力评估，为AGI发展提供重要测量工具[57]