文章核心观点 - DeepSeek开源了专注于可自验证数学推理的新模型DeepSeekMath-V2，其在多项国际顶级数学竞赛中取得超越人类和主要竞争对手的卓越成绩[1][7] - 该模型的核心创新在于通过迭代的强化学习循环，开发和利用强大的证明验证能力来指导和优化证明生成，克服了传统方法的局限性[7][9] - 模型的发布被视为对OpenAI和谷歌等行业巨头的重要市场动向，可能影响行业竞争格局[5] 模型性能表现 - 在Putnam 2024竞赛中得分118/120，超过人类最高分90分[2][43] - 在IMO 2025和CMO 2024竞赛中取得金牌级分数，其中IMO 2025的P1至P5题目正确率达到83.3%[2][44] - 在所有CNML级别问题类别（代数、几何、数论、组合学、不等式）上均优于GPT-5-Thinking-High和Gemini 2.5-Pro[2][34] - 这是第一个开源的IMO金牌模型[4] 技术方法创新 - 采用685B参数的大型语言模型架构，专注于自验证数学推理[7] - 开发迭代的强化学习循环，交替优化证明验证器和证明生成器[9] - 引入元验证机制作为二级评估过程，审查验证器生成的证明分析，使验证器分析的平均质量分数从0.85提升到0.96[14][21] - 训练验证器能够根据人类专家标准识别证明问题并评分，分数分为1、0.5和0三个级别[10] - 利用从AoPS竞赛收集的1.75万个奥赛级别数学问题构建初始数据集[12] 训练流程优化 - 实现完全自动化的数据标注流程，在最终训练迭代中取代耗时的人工标注[29][31] - 采用GRPO进行强化学习，迭代地优化证明验证和生成能力[32] - 通过拒绝微调巩固前次迭代中的验证和生成能力[33] - 证明生成器具备自我审查和修正能力，随着最大顺序尝试次数增加，Pass@1指标大幅提升[23][40] 团队背景 - 论文一作邵智宏是DeepSeekMath 7B的一作，提出了经典的GRPO方法[6][45][46] - 邵智宏目前是DeepSeek从事大模型推理研究的研究员，本科毕业于北京航空航天大学，博士毕业于清华[48]

文章核心观点 - 中山大学等机构联合提出GRPO-Guard解决方案，旨在解决GRPO在流模型训练中出现的过度优化问题[3] - GRPO-Guard通过比率归一化和跨步梯度平衡两项关键技术，恢复裁剪机制有效性并均衡梯度贡献[19][21] - 该方法在多种GRPO变体、扩散骨干模型和代理任务中均能显著缓解过度优化，保持甚至提升生成质量[26][35] 技术问题分析 - GRPO在流模型训练中存在重要性比值分布偏移问题，导致均值长期低于1且方差差异显著[10][12] - 分布偏移使预先设定的clip机制失效，无法有效约束过度自信的正样本梯度[8][14] - 不同去噪步骤的梯度贡献差异显著，高噪声步骤贡献小，低噪声步骤贡献大，导致训练偏向单一噪声条件[15][16] - 上述问题共同导致模型陷入过度优化状态，代理奖励上升但实际图像质量和对齐度下降[2][23] 解决方案 - 比率归一化对每个去噪步骤的重要性比值分布进行标准化，使其均值接近1且方差一致[19] - 跨步梯度平衡基于RatioNorm均衡各去噪步骤梯度，使策略在整个噪声时间表上均匀探索[21] - 改进后的策略损失函数能防止单步过拟合，提升训练稳定性与生成多样性[21] 实验结果 - 在SD3.5-M模型上，Flow-GRPO结合GRPO-Guard在1860步时GenEval得分提升0.01至0.95，PickScore提升0.4至20.9[27] - 在1020步时文本渲染得分提升0.04至0.68，Gold Score平均提升0.04至1.20[27] - 在Flux 1-dev模型上，DanceGRPO结合GRPO-Guard在1260步时PickScore提升0.5至21.7，Gold Score平均提升0.14至1.02[27] - 可视化结果显示GRPO-Guard能有效保持训练后期图像质量，缓解baseline方法出现的文本响应退化和人体比例不一致问题[28][33]

文章核心观点 - 文章分享了作者在强化学习（RL）领域优化GRPO（Generalized Reinforcement Policy Optimization）算法的研究历程，重点描述了从最初尝试到最终发现2-GRPO有效性的过程 [2][3][4][5] - 研究揭示了在特定条件下，极简化的采样策略（如2-GRPO）可能与传统认知相悖但依然有效，并将GRPO与DPO（Direct Preference Optimization）联系起来 [4][5] 研究动机与初始尝试 - 研究动机源于对GRPO算法推理速度过慢的不满，旨在进行效率优化 [2] - 初始尝试方向为树状采样，希望借鉴TreePO的思路，通过预填充减少生成时间，但在Qwen2.5-7B-Math上的初步实验表明正确率高度依赖第一个句子，存在不平衡问题，因此放弃 [2][3] - 第二次尝试基于投机采样思想，即采到正确样本就停止，但工程实现中引入过多CPU操作可能导致气泡，未能实现时间优化 [3] 方案演进与关键发现 - 第三个方案利用历史信息估计题目正确率，并基于贝叶斯方法（Beta分布和Thompson采样）动态分配采样预算，实验结果显示在降低采样数量的同时保持了性能 [4] - 后续消融实验发现，在保持总采样量不变的情况下，将每个提示的采样次数从16降至8，性能几乎无差异 [4] - 进一步实验扩展到不同采样次数（32, 16, 8, 4）和模型规模（7B, 1.5B, deepseek-distill），均发现性能差异不大，挑战了常规认知 [4] - 受到与同行讨论启发，将GRPO与DPO及对比学习联系起来，提出了2-GRPO有效的理论依据，即其奖励归一化机制与对比学习原理相似 [5] 社区介绍 - 文章末尾部分介绍了“大模型之心Tech知识星球”，这是一个面向大模型技术的综合性社区 [7][8][9][10] - 社区聚焦于学术界和大模型应用一线，覆盖RAG、Agent、大模型微调、部署等多个子方向 [9] - 社区提供前沿技术文章、大佬交流、独家招聘信息、时效技术总结等内容 [10]

GRPO策略类型分析 - GRPO最初设计和常用实现是在线策略(on-policy)方法 其优势估计依赖于当前策略生成的样本[3][6] - 通过重要性采样等技术可扩展为离线策略(off-policy)版本 已有工作研究这种扩展在样本效率和稳定性方面的权衡[3][4] - 原始GRPO使用当前策略生成的一组候选完成来计算组内相对优势 并在此批次上构造类似PPO的代理目标更新策略[5][6] 重要性采样技术 - 重要性采样是离线策略评估的核心方法 通过行为策略数据评估目标策略价值[8] - 核心公式使用重要性权重修正分布差异 单步权重为$w_t=\frac{\pi_t(a_t|s_t)}{\pi_b(a_t|s_t)}$ 轨迹权重为$W_T=\prod_{t=0}^T w_t$[12][13] - 加权重要性采样通过归一化权重降低方差 公式为${\hat{V}}^{\pi_t}(s_0)=\sum_{i=1}^N\left(\frac{W_T^{(i)}}{\sum_{j=1}^N W_T^{(j)}}\right)\cdot G_0^{(i)}$[16] GSPO与DAPO算法改进 - GSPO解决GRPO/PPO在长序列训练中的高方差问题 将重要性比率提升到序列级并做长度归一化[18][22] - DAPO针对长思维链训练提出四项工程技术：非对称裁剪 动态采样 token级策略梯度损失和过长奖励整形[20][24] - GSPO目标函数为$J_{\mathrm{GSPO}}(\theta)=\mathbb{E}_{x\sim D,\{y_i\}\sim\pi_{\mathrm{id}}}\left[\frac{1}{G}\sum_{i=1}^G\operatorname*{min}\Bigl(s_i(\theta)\hat{A}_i,\mathrm{clip}(s_i(\theta),1-\varepsilon,1+\varepsilon)\hat{A}_i\Bigr)\right]$[23] 熵崩溃问题与解决方案 - 熵崩溃指策略熵急速下降导致确定性输出 在训练阶段需要避免以保持探索能力[27][33] - 解决方案包括熵正则化 KL约束 非对称裁剪 动态采样和序列级重要性比率[32][37] - 监控指标包括策略熵曲线 KL距离变化和奖励分布特征[35][36] 奖励劫持与熵崩溃关系 - 奖励劫持是目标错位问题 熵崩溃是策略行为失衡症状 二者常相互强化形成恶性循环[41][51] - 奖励劫持导致策略快速确定化 熵崩溃使系统难以跳出奖励劫持的局部最优[43][44] - 解决方案需从奖励设计和训练稳定性两端入手 包括修正奖励函数 增加惩罚项和使用多样化评价信号[47][51] MLA加速推理技术 - MLA通过低秩潜在向量压缩Key/Value 只缓存潜在向量而非完整K/V[52][55] - 在内存带宽受限场景可减少45% KV缓存内存 实现1.3-1.8倍推理加速[52][64] - 技术实现包括潜在向量压缩和实时上投影计算 公式为$C_t = X_t W_C$ $K = C W_{K\_up}$ $V = C W_{V\_up}$[54][61]

强化学习技术发展 - 强化学习已成为LLM领域不可或缺的核心技术 覆盖大模型对齐、推理模型训练及智能体强化学习等方向 [1] - Unsloth团队发布强化学习教程 从吃豆人案例切入 系统讲解RLHF、PPO至GRPO的技术演进路径 其开源项目GitHub星数超4万 [2][5] - GRPO（组相对策略优化）由DeepSeek开发 通过移除价值模型、采用多轮采样统计替代传统PPO架构 显著降低显存消耗 [22][25][26] GRPO技术原理 - GRPO核心创新在于用采样答案的Z分数标准化替代价值模型 通过计算8-16次生成结果的平均奖励及标准差生成优势值A [27][28] - 技术优势体现在：支持自定义奖励函数 适用于数学验证/代码执行等场景 显存需求最低仅需5GB（1.5B参数模型） [30][44] - 训练机制采用多答案生成策略（每问题8-16变体） 通过奖励函数动态调整权重 需300-1000训练步数见效 [45][49] 应用场景与案例 - 适用领域包括数学推理（GSM8K数据集）、邮件自动化、法律医学等专业任务 准确率提升依赖可验证的阶段性奖励设计 [30][55][61] - Unsloth提供实战案例：在Qwen3基础模型上实现推理功能 通过邻近度评分、XML标签计数等定制化奖励函数优化输出质量 [62] - 典型奖励函数设计包含关键词匹配（+1）、格式合规性（-1）、答案接近度（梯度奖励）等多维度评估体系 [58][59][60] 实施要点与资源 - 硬件要求：17B参数模型需15GB显存 推荐使用QLoRA 4-bit量化技术降低资源消耗 [44][49] - 关键成功要素包括：500+行训练数据、12小时以上训练时长、基于指令微调的预训练模型（概率非零） [41][49][57] - 学习资源涵盖Nathan Lambert的RLHF专著、Yannic Kilcher视频解析及Unsloth提供的Colab实战笔记本 [63]