文章核心观点 - 强化学习是解决端到端自动驾驶中模仿学习无法处理问题（如居中驾驶）的关键技术 [1] - 文章以DiffusionDriveV2为例，深入解读了PPO和GRPO等强化学习算法在自动驾驶轨迹生成中的应用与改进 [2][5][6] 强化学习在自动驾驶中的重要性 - 自动驾驶进入端到端阶段后，需要强化学习来解决模仿学习无法处理的问题，例如车辆居中行驶 [1] - 强化学习是后训练不可或缺的一部分，其热度因大模型发展而提升 [1] 主流强化学习算法：PPO与GRPO - PPO CLIP是最经典的PPO算法，其损失函数通过裁剪策略比例来稳定训练 [2][3] - 在自动驾驶中，对动作的评价是针对整个轨迹的质量，而非单个路径点 [3] - 优势函数A反映了当前决策相对于平均预期奖励的好坏，比单纯使用奖励更稳定，能避免不同场景间奖励方差过大的问题 [4] - GRPO的主要改进在于使用当前策略生成多个轨迹的平均奖励来估计价值函数V，而非使用Critic模型 [4][9] DiffusionDriveV2的强化学习损失函数 - 损失函数由三部分组成：DiffusionDrive的多个锚点设计、GRPO的组设计以及扩散模型的去噪过程 [9] - 锚点设计是DiffusionDrive V1的核心，用于生成多样化的轨迹 [9] - GRPO的组概念被修改，每个锚点拥有独立的组，以避免不同驾驶行为的数据相互压制 [11][12] - 组内优势的计算方式为：某个轨迹的奖励减去组内所有轨迹奖励的均值，再除以组内奖励的标准差 [12] - 引入了锚点间GRPO，对不同锚点的优势进行进一步优化，以避免优化方向坍塌 [13][14] DiffusionDriveV2的其他技术改进 - 轨迹加噪采用横向和纵向分别设定尺度的方法，以确保加噪后的轨迹保持正常 [15] - 新版本终于包含了模型选择器 [15] 当前挑战与未来展望 - 目前量产应用中，强化学习训练多为单步且作用于整个轨迹，因为端到端的闭环仿真在生成效率和质量上尚不足以支撑训练 [3] - 自动驾驶中的强化学习技术远未成熟，单步约束与模仿学习的区别有限，期待未来闭环仿真技术的进步带来更深入的强化学习应用 [15]

文章核心观点 - 2025年大语言模型领域的发展重点从单纯的参数规模扩展转向了推理能力的强化，以DeepSeek R1为代表的开放权重模型及其采用的RLVR和GRPO算法成为年度技术风向标，同时行业在架构、评估和工具使用等方面也取得了显著进展[1][3][4] 推理模型与算法进展 - 2025年是“推理之年”，DeepSeek R1的发布证明了通过强化学习（特别是RLVR和GRPO算法）可以开发出具有类似推理行为的模型，这改变了行业对模型改进方式的认知[5][6] - DeepSeek R1作为开放权重模型，其性能媲美当时最好的专有模型，并且其成本远低于预期，训练DeepSeek V3模型的成本估计约为557.6万美元，而在其基础上训练R1模型的额外成本仅需29.4万美元[9][10][12] - RLVR中的“可验证奖励”允许使用确定性方法为数学和代码等领域分配正确性标签，从而能够在大规模数据上对LLM进行高效的后训练[13][15][16] - 继DeepSeek R1之后，几乎所有主要的开放权重或专有LLM开发商都发布了其模型的推理（“思考”）变体，标志着RLVR和GRPO成为年度主导技术[19] 大语言模型开发重点演变 - 近年来LLM开发的重点呈现累积性演进：2022年是RLHF+PPO，2023年是LoRA等参数高效微调，2024年是中期训练，而2025年的焦点是RLVR+GRPO[20][21][22] - 预计未来发展方向包括：将RLVR扩展到数学和代码以外的领域、更多地关注推理时扩展（让模型在生成答案时花费更多资源以提升准确性）、以及持续学习（在不重新训练的情况下更新模型知识）[25][27][28][31] 大语言模型架构趋势 - 最先进的模型仍基于解码器风格的Transformer，但开放权重LLM普遍收敛于使用混合专家层以及分组查询注意力、滑动窗口注意力或多头潜在注意力等高效注意力机制[42][43] - 同时，行业也出现了更激进的效率调整架构，如Qwen3-Next和Kimi Linear中的Gated DeltaNets，以及NVIDIA Nemotron 3中的Mamba-2层，旨在实现随序列长度的线性扩展[43] - 预测未来几年基于Transformer的架构仍将主导高性能建模，但出于成本和效率考虑，Gated DeltaNet和Mamba层等高效工程调整将越来越普遍，文本扩散模型等替代方案仍处于实验阶段[53] 推理扩展与工具使用 - 2025年的进步不仅来自训练数据和架构的扩展，更得益于更好的训练流程（中期和后训练）以及推理扩展，后者让LLM能按需投入更多资源解决复杂任务[54] - 工具使用是减少LLM幻觉的重大改进方向，例如让LLM调用搜索引擎或计算器API来获取准确信息，OpenAI的gpt-oss模型就是早期专注于工具使用的开放权重模型之一[54][55] - 基准测试数据显示，使用工具能显著提升模型在多项任务上的表现，例如gpt-oss-120b模型在AIME 2024基准上，使用工具后准确率从56.3%提升至75.4%[56] 行业评估困境与数据优势 - 2025年的年度词汇是“极限刷榜”，指过度优化公开基准测试分数，导致分数无法真实反映模型的实际能力和实用性，基准测试作为LLM性能指标的可信度下降[60][61][63] - 随着通用能力提升趋于平稳，高质量的私有数据将成为LLM在特定行业确立优势的关键，但许多公司因数据是其核心差异化资产而拒绝出售给外部LLM提供商[84][85] - LLM开发正变得越来越商品化，预计未来拥有预算的大型机构将更倾向于开发利用其私有数据的内部LLM，而非完全依赖外部通用模型[88][89] AI辅助工作与影响 - LLM被视为赋予专业人士“超能力”的工具，能大幅提高个人效率，例如自动化编写命令行参数等平凡编码任务，或帮助发现代码错误和改进想法[65][66][68] - 然而，完全由LLM生成的代码库无法取代专家精心设计和构建的系统，深入的专业知识对于有效利用LLM指导和改进工作成果至关重要[71] - 在技术写作和研究领域，LLM是强大的辅助工具，可以帮助检查错误、提高清晰度，但无法替代人类作者的深度判断和专业知识，核心工作仍取决于人类[72][76] - 需警惕过度依赖LLM可能导致工作空虚感和职业倦怠，理想的方式是将AI视为加速学习和扩展工作能力的合作伙伴，而非完全外包思考的替代品[77][80][81]

文章核心观点 - DeepSeek开源了专注于可自验证数学推理的新模型DeepSeekMath-V2，其在多项国际顶级数学竞赛中取得超越人类和主要竞争对手的卓越成绩[1][7] - 该模型的核心创新在于通过迭代的强化学习循环，开发和利用强大的证明验证能力来指导和优化证明生成，克服了传统方法的局限性[7][9] - 模型的发布被视为对OpenAI和谷歌等行业巨头的重要市场动向，可能影响行业竞争格局[5] 模型性能表现 - 在Putnam 2024竞赛中得分118/120，超过人类最高分90分[2][43] - 在IMO 2025和CMO 2024竞赛中取得金牌级分数，其中IMO 2025的P1至P5题目正确率达到83.3%[2][44] - 在所有CNML级别问题类别（代数、几何、数论、组合学、不等式）上均优于GPT-5-Thinking-High和Gemini 2.5-Pro[2][34] - 这是第一个开源的IMO金牌模型[4] 技术方法创新 - 采用685B参数的大型语言模型架构，专注于自验证数学推理[7] - 开发迭代的强化学习循环，交替优化证明验证器和证明生成器[9] - 引入元验证机制作为二级评估过程，审查验证器生成的证明分析，使验证器分析的平均质量分数从0.85提升到0.96[14][21] - 训练验证器能够根据人类专家标准识别证明问题并评分，分数分为1、0.5和0三个级别[10] - 利用从AoPS竞赛收集的1.75万个奥赛级别数学问题构建初始数据集[12] 训练流程优化 - 实现完全自动化的数据标注流程，在最终训练迭代中取代耗时的人工标注[29][31] - 采用GRPO进行强化学习，迭代地优化证明验证和生成能力[32] - 通过拒绝微调巩固前次迭代中的验证和生成能力[33] - 证明生成器具备自我审查和修正能力，随着最大顺序尝试次数增加，Pass@1指标大幅提升[23][40] 团队背景 - 论文一作邵智宏是DeepSeekMath 7B的一作，提出了经典的GRPO方法[6][45][46] - 邵智宏目前是DeepSeek从事大模型推理研究的研究员，本科毕业于北京航空航天大学，博士毕业于清华[48]

文章核心观点 - 中山大学等机构联合提出GRPO-Guard解决方案，旨在解决GRPO在流模型训练中出现的过度优化问题[3] - GRPO-Guard通过比率归一化和跨步梯度平衡两项关键技术，恢复裁剪机制有效性并均衡梯度贡献[19][21] - 该方法在多种GRPO变体、扩散骨干模型和代理任务中均能显著缓解过度优化，保持甚至提升生成质量[26][35] 技术问题分析 - GRPO在流模型训练中存在重要性比值分布偏移问题，导致均值长期低于1且方差差异显著[10][12] - 分布偏移使预先设定的clip机制失效，无法有效约束过度自信的正样本梯度[8][14] - 不同去噪步骤的梯度贡献差异显著，高噪声步骤贡献小，低噪声步骤贡献大，导致训练偏向单一噪声条件[15][16] - 上述问题共同导致模型陷入过度优化状态，代理奖励上升但实际图像质量和对齐度下降[2][23] 解决方案 - 比率归一化对每个去噪步骤的重要性比值分布进行标准化，使其均值接近1且方差一致[19] - 跨步梯度平衡基于RatioNorm均衡各去噪步骤梯度，使策略在整个噪声时间表上均匀探索[21] - 改进后的策略损失函数能防止单步过拟合，提升训练稳定性与生成多样性[21] 实验结果 - 在SD3.5-M模型上，Flow-GRPO结合GRPO-Guard在1860步时GenEval得分提升0.01至0.95，PickScore提升0.4至20.9[27] - 在1020步时文本渲染得分提升0.04至0.68，Gold Score平均提升0.04至1.20[27] - 在Flux 1-dev模型上，DanceGRPO结合GRPO-Guard在1260步时PickScore提升0.5至21.7，Gold Score平均提升0.14至1.02[27] - 可视化结果显示GRPO-Guard能有效保持训练后期图像质量，缓解baseline方法出现的文本响应退化和人体比例不一致问题[28][33]

文章核心观点 - 文章分享了作者在强化学习（RL）领域优化GRPO（Generalized Reinforcement Policy Optimization）算法的研究历程，重点描述了从最初尝试到最终发现2-GRPO有效性的过程 [2][3][4][5] - 研究揭示了在特定条件下，极简化的采样策略（如2-GRPO）可能与传统认知相悖但依然有效，并将GRPO与DPO（Direct Preference Optimization）联系起来 [4][5] 研究动机与初始尝试 - 研究动机源于对GRPO算法推理速度过慢的不满，旨在进行效率优化 [2] - 初始尝试方向为树状采样，希望借鉴TreePO的思路，通过预填充减少生成时间，但在Qwen2.5-7B-Math上的初步实验表明正确率高度依赖第一个句子，存在不平衡问题，因此放弃 [2][3] - 第二次尝试基于投机采样思想，即采到正确样本就停止，但工程实现中引入过多CPU操作可能导致气泡，未能实现时间优化 [3] 方案演进与关键发现 - 第三个方案利用历史信息估计题目正确率，并基于贝叶斯方法（Beta分布和Thompson采样）动态分配采样预算，实验结果显示在降低采样数量的同时保持了性能 [4] - 后续消融实验发现，在保持总采样量不变的情况下，将每个提示的采样次数从16降至8，性能几乎无差异 [4] - 进一步实验扩展到不同采样次数（32, 16, 8, 4）和模型规模（7B, 1.5B, deepseek-distill），均发现性能差异不大，挑战了常规认知 [4] - 受到与同行讨论启发，将GRPO与DPO及对比学习联系起来，提出了2-GRPO有效的理论依据，即其奖励归一化机制与对比学习原理相似 [5] 社区介绍 - 文章末尾部分介绍了“大模型之心Tech知识星球”，这是一个面向大模型技术的综合性社区 [7][8][9][10] - 社区聚焦于学术界和大模型应用一线，覆盖RAG、Agent、大模型微调、部署等多个子方向 [9] - 社区提供前沿技术文章、大佬交流、独家招聘信息、时效技术总结等内容 [10]

GRPO策略类型分析 - GRPO最初设计和常用实现是在线策略(on-policy)方法 其优势估计依赖于当前策略生成的样本[3][6] - 通过重要性采样等技术可扩展为离线策略(off-policy)版本 已有工作研究这种扩展在样本效率和稳定性方面的权衡[3][4] - 原始GRPO使用当前策略生成的一组候选完成来计算组内相对优势 并在此批次上构造类似PPO的代理目标更新策略[5][6] 重要性采样技术 - 重要性采样是离线策略评估的核心方法 通过行为策略数据评估目标策略价值[8] - 核心公式使用重要性权重修正分布差异 单步权重为$w_t=\frac{\pi_t(a_t|s_t)}{\pi_b(a_t|s_t)}$ 轨迹权重为$W_T=\prod_{t=0}^T w_t$[12][13] - 加权重要性采样通过归一化权重降低方差 公式为${\hat{V}}^{\pi_t}(s_0)=\sum_{i=1}^N\left(\frac{W_T^{(i)}}{\sum_{j=1}^N W_T^{(j)}}\right)\cdot G_0^{(i)}$[16] GSPO与DAPO算法改进 - GSPO解决GRPO/PPO在长序列训练中的高方差问题 将重要性比率提升到序列级并做长度归一化[18][22] - DAPO针对长思维链训练提出四项工程技术：非对称裁剪 动态采样 token级策略梯度损失和过长奖励整形[20][24] - GSPO目标函数为$J_{\mathrm{GSPO}}(\theta)=\mathbb{E}_{x\sim D,\{y_i\}\sim\pi_{\mathrm{id}}}\left[\frac{1}{G}\sum_{i=1}^G\operatorname*{min}\Bigl(s_i(\theta)\hat{A}_i,\mathrm{clip}(s_i(\theta),1-\varepsilon,1+\varepsilon)\hat{A}_i\Bigr)\right]$[23] 熵崩溃问题与解决方案 - 熵崩溃指策略熵急速下降导致确定性输出 在训练阶段需要避免以保持探索能力[27][33] - 解决方案包括熵正则化 KL约束 非对称裁剪 动态采样和序列级重要性比率[32][37] - 监控指标包括策略熵曲线 KL距离变化和奖励分布特征[35][36] 奖励劫持与熵崩溃关系 - 奖励劫持是目标错位问题 熵崩溃是策略行为失衡症状 二者常相互强化形成恶性循环[41][51] - 奖励劫持导致策略快速确定化 熵崩溃使系统难以跳出奖励劫持的局部最优[43][44] - 解决方案需从奖励设计和训练稳定性两端入手 包括修正奖励函数 增加惩罚项和使用多样化评价信号[47][51] MLA加速推理技术 - MLA通过低秩潜在向量压缩Key/Value 只缓存潜在向量而非完整K/V[52][55] - 在内存带宽受限场景可减少45% KV缓存内存 实现1.3-1.8倍推理加速[52][64] - 技术实现包括潜在向量压缩和实时上投影计算 公式为$C_t = X_t W_C$ $K = C W_{K\_up}$ $V = C W_{V\_up}$[54][61]

强化学习技术发展 - 强化学习已成为LLM领域不可或缺的核心技术 覆盖大模型对齐、推理模型训练及智能体强化学习等方向 [1] - Unsloth团队发布强化学习教程 从吃豆人案例切入 系统讲解RLHF、PPO至GRPO的技术演进路径 其开源项目GitHub星数超4万 [2][5] - GRPO（组相对策略优化）由DeepSeek开发 通过移除价值模型、采用多轮采样统计替代传统PPO架构 显著降低显存消耗 [22][25][26] GRPO技术原理 - GRPO核心创新在于用采样答案的Z分数标准化替代价值模型 通过计算8-16次生成结果的平均奖励及标准差生成优势值A [27][28] - 技术优势体现在：支持自定义奖励函数 适用于数学验证/代码执行等场景 显存需求最低仅需5GB（1.5B参数模型） [30][44] - 训练机制采用多答案生成策略（每问题8-16变体） 通过奖励函数动态调整权重 需300-1000训练步数见效 [45][49] 应用场景与案例 - 适用领域包括数学推理（GSM8K数据集）、邮件自动化、法律医学等专业任务 准确率提升依赖可验证的阶段性奖励设计 [30][55][61] - Unsloth提供实战案例：在Qwen3基础模型上实现推理功能 通过邻近度评分、XML标签计数等定制化奖励函数优化输出质量 [62] - 典型奖励函数设计包含关键词匹配（+1）、格式合规性（-1）、答案接近度（梯度奖励）等多维度评估体系 [58][59][60] 实施要点与资源 - 硬件要求：17B参数模型需15GB显存 推荐使用QLoRA 4-bit量化技术降低资源消耗 [44][49] - 关键成功要素包括：500+行训练数据、12小时以上训练时长、基于指令微调的预训练模型（概率非零） [41][49][57] - 学习资源涵盖Nathan Lambert的RLHF专著、Yannic Kilcher视频解析及Unsloth提供的Colab实战笔记本 [63]