推理大模型效率提升技术 核心观点 - Salesforce AI Research开源两项创新技术Elastic Reasoning和Fractured Sampling,显著提升大模型推理效率,在数学和编程任务中表现突出[1][4] - Elastic Reasoning通过"思考-解题"分段预算管理,输出缩短30%同时保持准确性[1][7] - Fractured Sampling通过三维碎片化采样重新定义推理成本-性能前沿,计算开销更低[2][20] Elastic Reasoning技术细节 - 采用"思考分段法":显式划分思考部分和解题部分,分别分配token预算[7] - 训练方法:成本可控强化学习采样(Budget-constrained rollout),使模型适应不完整思考作答[9] - 效果验证: - E1-Math-1.5B模型在Math数据集正确率35.0%,大幅领先L1的27.1%[13] - E1-Code-14B在Codeforces达到1987rating(96.0%分位),媲美O1模型[14] - 无预算限制时,AIME任务token使用减少32.1%,LiveCodeBench减少37.4%[16] Fractured Sampling技术细节 - 三维采样控制:推理路径数n、每条路径解答数m、思考深度H[26] - 关键发现:增加思考深度H维度能更高效提升准确率[24][25] - 实验数据: - 在DeepSeek-R1系列模型上,H=16时准确率提升至61.4%(基准60.4%)[28][29] - 联合采样n/m/H时,DeepSeek-R1-Qwen-14B平均准确率达68.3%[28] - 早停技术减少约20%生成token数量[31] 开源资源 - Elastic Reasoning代码库及E1模型已开源[32] - Fractured Chain-of-Thought项目代码公开[32] - 相关论文发布于arXiv平台[32]
超长推理还能节省计算!Salesforce开源神器两连发:教大模型边想边省,显著提升数学编程准确率