核心观点 - 强化学习（RL）在AI模型预训练阶段展现出突破性潜力，微软研究提出的「强化预训练（RPT）」新范式将传统next-token预测任务重构为推理任务，通过可验证的内在奖励提升模型性能 [6][9][24] - RPT通过利用海量无标注文本数据实现通用强化学习，显著提升语言建模准确性和推理能力，同时规避reward hacking风险 [26][28][29][30] - 实验表明RPT-14B模型在next-token预测准确率、零样本性能及下游任务微调效果上均超越基线模型，甚至媲美更大规模模型 [40][42][43][49][50] 技术范式创新 - 任务重构：将next-token预测转化为推理过程，模型通过比对语料真实token获得内在奖励，无需外部标注 [25][32] - 可扩展性：直接利用现有预训练语料库，将其转化为强化学习训练资源，支持长思维链推理（如自我修正） [28][33][34] - 训练机制：采用on-policy强化学习，生成多组思维轨迹并通过前缀匹配奖励验证，分配更多计算资源于推理步骤 [35][37][31] 实验性能表现 - 语言建模：RPT-14B在Easy/Medium/Hard难度测试集上next-token准确率分别达45.11%/33.56%/23.75%，全面超越基线模型Qwen2.5-14B和R1-Distill-Qwen-14B [42] - Scaling特性：预测准确率随训练计算量增加持续提升，高R2值验证性能增长趋势稳定 [45] - 下游任务：经RPT预训练的模型在RLVR微调后性能上限提升至58.3，显著高于基线模型的52.7 [47][48] - 零样本能力：在SuperGLUE和MMLU-Pro基准测试中，RPT-14B分别以39.0和71.1的分数超越32B大模型 [50] 行业影响 - 突破限制：解决传统RL依赖人类反馈数据（高成本）和RLVR数据稀缺的问题，实现通用预训练与强化学习的结合 [22][23][24] - 效率提升：通过推理过程直接优化token预测准确性，模型在相同参数量下性能可比拟更大规模模型 [43][49] - 潜在应用：特别适用于需复杂推理的领域（如数学解题），模型表现出结构化问题解决能力 [51][53]