核心观点 - 强化学习（RL）相比监督微调（SFT）能显著提升大语言模型的泛化能力，尤其在跨领域任务迁移中表现更优 [5][6][14] - 数学推理能力的提升可正向迁移至其他理科领域，验证了RL训练对机器智能发展的关键作用 [7][15] - SFT训练会导致模型在非推理任务上出现负向迁移（TI_non达113.7），而RL模型保持稳定（TI_non仅36.9） [7][12] 训练方法对比 - 模仿学习（SFT）：依赖高质量数据集直接复制解题过程，但导致模型输出冗长（3000+重复token）且破坏原有知识结构（158-390个无关token变化） [6][13][16] - 强化学习（RL）：仅提供最终答案奖励，模型自主探索解题路径，保持表示空间稳定（仅14-15个任务相关token变化） [10][11][16] 实验设计 - 使用相同基础模型（Qwen3-14B-Base）和数学数据集（47K问题）对比RL与SFT效果 [11] - 可迁移指数量化显示：RL模型在数学/其他推理/非推理任务的TI分别为8.5/3.5/36.9，显著优于SFT模型（21.4/10.9/113.7） [8][12] - PCA分析证实RL模型的表示漂移距离最小，知识结构保留度最佳 [10] 案例表现 - 数学问题求解：RL模型直接建立方程（简洁），SFT模型产生大量冗余检查步骤 [13] - 非推理任务：RL模型高效完成辞职邮件，SFT模型陷入过度思考循环 [13] 行业意义 - 研究为Grok 4等新一代RL训练范式提供了理论支撑，证明探索式学习更接近人类智能发展路径 [1][14][15] - 数学能力作为基础学科的迁移效应，验证了跨领域知识转移对AI系统的重要性 [7][15]