研究背景与核心问题 - 强化学习后训练（RLVR）是提升大模型在数学、代码和复杂逻辑任务上推理能力的重要路线，其过程涉及模型针对同一提示词（prompt）生成多条思维链，并通过可验证奖励判断对错来更新策略[1][2][8] - 该路线的核心现实问题是成本高昂，因为每个训练步骤都需要大量“rollout”，即反复调用大模型生成长答案，计算和显存开销巨大[3][9] - 训练价值并非均匀分布，过于简单或过于困难的提示词提供的有效学习信号很弱，真正有价值的是模型“有时能答对、有时会答错”的中等难度提示词[10][11] 解决方案：GPS方法概述 - 清华大学与腾讯的研究者提出了“可泛化的预测性提示词选择（GPS）”方法，旨在通过一个小型、可泛化的提示词预测模型（PPM）来预测不同提示词在当前模型下的难度，从而选择更值得训练的样本，减少无效rollout[4][12] - GPS的目标不是替代大模型或改变RLVR算法本身，而是在训练数据选择环节充当“导航器”，其训练得到的PPM还可复用于测试阶段的计算预算分配[14][22] GPS方法的技术细节 - GPS使用可泛化的PPM，引入一个全局潜变量（difficulty context）来压缩记录模型在优化过程中积累的难度信息，使得模型能够参考相似提示词的历史表现来估计难度，即便某个提示词采样很少[16][17] - 在选择训练批次时，GPS采用统一的批次效用函数，该函数结合了难度收益（偏好成功率接近0.5的提示词）和基于历史锚定的多样性收益，以避免批次内样本冗余并鼓励探索不同题型[20][21][30] - 在测试阶段，GPS可利用训练好的PPM预测测试提示词的难度，并据此动态分配“Best-of-N”采样预算，将更多计算资源分配给有挑战但仍可能解出的中等偏难题[24][25][47] 实验设置与对比基准 - 实验在数学推理（使用DeepScaler数据集，模型包括DeepSeek-R1 1.5B和7B）和逻辑推理（使用Countdown Number Game，模型包括Qwen3-4B/8B）两类任务上进行验证[27] - 对比方法包括：Uniform（随机采样）、MoPPS（为每个提示词维护独立后验）、PCL（使用LLM估计难度）、GRESO（基于历史奖励统计过滤）以及DS/DS Oracle（通过真实额外评估筛选，效果强但成本高）[31] 实验结果：训练效率与性能 - 在训练步数上，相比Uniform随机采样，GPS带来了1.4倍至2.0倍的加速[4][34] - 在减少rollout成本上，相比需要真实评估的DS Oracle基线，GPS最多减少了69%的rollout，同时训练时间减少了28%至47%[4][35] - 在模型性能上，GPS达到或超过了强基线DS Oracle的水平。例如，在DeepSeek-R1 7B模型上，GPS的ID（分布内）平均准确率达到67.4%，高于DS Oracle的67.0%；OOD（分布外）平均准确率达到51.5%，也是该组最好结果[39][40] - 在逻辑推理任务上，GPS同样展现出优势。在Qwen3-8B模型上，GPS平均准确率达到68.6%，略高于DS的68.5%，同时训练时间（5.0小时）明显低于DS的6.9小时[44][45] 实验结果：测试阶段计算分配复用 - 训练阶段学到的PPM可以泛化到未见过的测试提示词，其预测难度与经验成功率之间仍保持统计显著相关[48] - 利用PPM指导测试时计算分配，相比默认的固定预算分配，可以在固定预算下最高带来3.2%的相对性能提升，或在性能不下降的情况下最多节省36.4%的推理计算成本[50] 消融实验与算法兼容性 - 消融实验表明，去掉基于历史锚定的多样性设计或潜在难度上下文变量，都会导致性能明显下降，验证了这些组件的关键性[54] - GPS方法具有良好的算法兼容性，不仅适用于其默认的GRPO算法，也能与PPO和Reinforce++等RLVR算法结合使用[54] 研究总结与行业启示 - 该研究的价值在于将提示词选择环节系统化，通过一个小型预测模型提前识别能产生有效奖励差异的中等难度样本，并兼顾批次多样性，从而提升RL后训练的效率[57] - 在训练成本高昂的背景下，该方法提供了未来大模型后训练的一种可能方向：即通过智能判断“哪些题值得练、哪些计算值得花”来优化资源分配，而非单纯依赖增加算力和rollout数量[58]