大模型推理能力研究进展 - 可验证奖励的强化学习（RLVR）技术取得突破，尤其是"一题强化学习"在多个任务中表现亮眼[1] - RL训练面临资源成本高（上百小时A100GPU）和训练不稳定的现实难题[2] - 传统监督式微调（SFT）在低数据量下易过拟合，效果难以保证[2] One-Shot CFT技术原理 - 滑铁卢大学TIGER Lab提出One-Shot Critique Fine-Tuning新方法，通过"逐步分析判断答案好坏"激发LLM推理能力[3] - 方法流程：选取代表性任务→多模型生成解答→强大模型点评→训练目标模型从点评中学习[4] - 仅需一题数据+多个解答+多个点评即可完成微调，训练仅需约5个GPU小时[5] 实验效果验证 - 在数学任务上，Qwen2.5-Math-7B经CFT微调后准确率提升+15%，超越使用4万多个样本的全监督微调模型[9] - Qwen2.5-Math-7B在MATH-500等基准测试中平均提升+14.9分，最高单任务提升+23.1分[9] - 在BBEH逻辑推理任务中获得+10~16%准确率增幅，展现跨任务迁移能力[10] - 效果对具体任务和种子选择不敏感，具有良好的稳定性和复现性[11] 技术优势分析 - 批判性学习：理解"答案为何正确或错误"，学习信号更具深度[12] - 多视角输入：一个问题模拟多种推理路径与错误类型，接近人类学习方式[12] - 强泛化性：点评语言包含通用逻辑判断规则，更易迁移至新任务[12] - 更换问题、模型、点评风格时，提升幅度保持稳定[13] 应用前景 - 相比RL方法大幅降低资源需求（5 GPU小时 vs 上百小时）[14] - 为个人研究者、资源有限实验室和初创团队提供高性价比解决方案[15] - 全流程开源（训练脚本、模型参数、数据集等），极大降低复现门槛[17]