数学推理与AI研究 - 数学证明需要逻辑闭合和严谨推理过程，不等式问题是检验模型推理能力的理想对象[1] - 当前形式化数学系统如Lean、Coq要求极高精度，难以规模化应用于中学到奥数级别的不等式问题[1] - 大语言模型在非形式化推理方面表现出色，能给出看似合理的答案并模仿人类初期思维方式[1] IneqMath创新方法 - 研究团队提出将不等式证明拆解为"界限估计"和"关系预测"两个子任务[2][7] - 构建首个奥林匹克级不等式证明基准数据集IneqMath，包含1,252道训练题目和200道测试题目[11][12] - 数据集覆盖83种定理和29个定理类别，测试集由IMO奖牌得主设计并经数学家审核[12] 评估框架 - 开发LLM-as-Judge框架，包含五种自动评审器评估模型推理严谨性[20] - 评审器系统在与人工标注对齐的任务上达到F1=0.93的表现[24] - 框架可判断模型是"碰巧答对"还是每个推理节点都正确[23] 研究发现 - 存在Soundness Gap现象：模型最终答案准确率与推理严谨性差距显著[27] - Grok 3 mini最终答案准确率71.5%，但逐步评审后骤降至6.0%[29] - 模型规模增大能提升猜测准确率，但对推理严谨性提升有限[30] - 增加推理token数仅带来轻微提升，很快进入饱和状态[32] 改进策略 - 自我批判提升策略为Gemini 2.5 Pro带来约5%的准确率提升[42] - 定理提示策略使Gemini 2.5 Pro准确率提升约10%[42] - 研究团队设立动态更新的排行榜推动模型在严谨数学推理上的进步[36] 研究团队 - 项目由斯坦福大学、麻省理工学院和加州大学伯克利分校的研究者联合完成[44] - 负责人Pan Lu是斯坦福大学博士后研究员，研究方向包括大语言模型和数学发现[45] - 合作者包括MIT博士生Alex Gu和斯坦福大学博士生Jikai Jin[46][47]