Workflow
Fractured Sampling
icon
搜索文档
超长推理还能节省计算!Salesforce开源神器两连发:教大模型边想边省,显著提升数学编程准确率
量子位· 2025-05-23 14:14
Salesforce团队 投稿 量子位 | 公众号 QbitAI 推理大模型如何提升效率?Salesforce AI Research开源神器两连发—— Elastic Reasoning 和 Fractured Sampling 。 Elastic Reasoning用"想多少、答多少"替代了"想到哪算哪",让模型在预算范围内思考更合理,输出缩短30%,同时保持(甚至提高)了准 确性。 Fractured Sampling让模型"少想早答",重新定义了思维链推理的成本-性能前沿,使LLM能够在更低的计算开销下实现强大的推理。 这两种方案显著提高了数学和编程任务的准确率,在推理预算紧张时依然表现出色。 Elastic Reasoning:首次实现"思考-解题"分开管预算 当前的推理大模型在处理任务时往往需要生成长的Chain-of-Thought(CoT)推理链,效果虽好,但开销很大。 在预算有限的情况下,Elastic Reasoning提出了一种新的"思考分段法":把推理流程显式划分为 思考部分 和 解题部分 ,为它们分别分配 token预算。 通俗地讲,让大模型每次生成时,不再一股脑"想到哪说到哪",而 ...