SRFT团队 投稿 量子位 | 公众号 QbitAI 通过单阶段监督微调与强化微调结合，让大模型在训练时能同时利用专家演示和自我探索试错，有效提升大模型推理性能。 中国科学院自动化研究所深度强化学习团队 联合 美团 ，提出一种 单阶段监督-强化微调方法——SRFT (Supervised Reinforcement Fine-Tuning) 。该方法通过基于熵的动态加权机制，将两种训练范式结合。 在大语言模型（LLM）的推理能力提升上，监督微调（SFT） 和强化学习（RL，有时也称作强化微调，RFT）是两条核心技术路线。但它们 各自都存在瓶颈： SFT擅长模仿专家解题思路，类似"背书"，能快速为模型打下基础，但缺点是容易陷入死记硬背，缺乏在新问题上灵活应用和寻找最优解的能 力； RFT/RL通过不断试错来探索解题方法，类似"刷题"，能够发现更优解法，但其探索过程效率低下，容易面临模式崩溃风险。 因此，目前研究者通常采用两阶段 顺序 方法SFT→RFT/RL：先用SFT学习高质量数据集，再用RFT/RL进一步优化对齐LLM策略（即先"背 完书"再"去刷题"）。 然而，这种串行方式不仅影响学习效率，还常常导致模型 ...