核心观点 - 清华AIR与字节联合SIA Lab发布的DAPO系统实现了大规模LLM强化学习的开源SOTA，使Qwen2.5-32B模型在AIME 2024基准上获得50分 [1] - 刘力源、姚峰团队发现DAPO-32B中rollout生成占70%训练时间，通过8bit量化和TIS技术显著加速训练 [3] - FlashRL是首个开源且可用的强化学习方案，在推理阶段应用INT8/FP8量化且性能与BF16持平 [4][15] - TIS技术解决了量化rollout与训练不匹配问题，使性能达到甚至超过BF16 rollout水平 [16] - FlashRL在32B模型上实现1.75倍加速，在内存受限场景下加速比可达3-5倍 [29][34] 技术突破 - 量化技术应用：在rollout阶段采用8bit量化技术，通过TIS保持下游性能 [3][4] - 性能表现：INT8量化使32B模型吞吐量提升1.75倍，FP8量化性能与BF16相当 [23][29] - 内存优化：在TP2-A6000配置下生成速度提升超3倍，TP1-A100配置下超5倍 [34] - 兼容性：支持INT8/FP8量化，兼容H100和A100 GPU [42] 实验结果 - 模型表现：Qwen2.5-32B在AIME基准上获得50分 [1] - 加速效果：7B模型加速比不足1.2倍，32B模型达1.75倍 [29] - 性能对比：INT8 rollout与BF16 rollout在AIME基准准确率相当 [36] - 训练效率：INT8 rollout单位小时内完成的更新步数显著高于BF16 [39] 应用部署 - 安装使用：通过pip install flash-llm-rl即可安装，无需修改代码 [41] - 技术细节：完整技术方案发布于团队博客 [8][17] - 开源资源：论文和代码已在GitHub开源 [7][8]

核心观点 - 文章深入分析了Kimi k1.5、OpenReasonerZero、DAPO和Dr. GRPO四篇论文的创新点，重点探讨了GRPO及其改进算法在推理模型中的应用 [1][3][10] - 当前AI领域推理和强化学习成为热门，但GRPO并非特殊算法，与其他RL算法关系密切 [6][8][11] - 行业正从价值函数转向直接估计优势值，强化学习范式进化是主要推动力 [20] Kimi k1.5 - Kimi k1.5是Kimi团队最新多模态大语言模型，采用强化学习训练，论文长达25页但未开放模型权重 [17][19] - 模型采用简单有效的强化学习框架，无需依赖蒙特卡洛树搜索等复杂技术 [17] - 团队强调提示策划的重要性，采用基于模型的方法评估提示难度 [22] - 训练方案包含SFT预热、长思维链和拒绝采样，后期使用在线策略镜像下降变体 [24] - 研究发现较大模型在token效率方面表现更好，但小模型通过长思维链也能达到相当性能 [29][31] OpenReasonerZero - 这是首篇展示在基础模型上通过RL取得出色结果的研究 [34] - 使用Qwen-32B基座模型达到DeepSeek论文中提到的Qwen-32B RL模型性能 [38] - 研究发现GRPO对其不起作用，使用带GAE的PPO算法效果更好 [42] - 移除KL惩罚能实现最优训练稳定性和最终性能 [44][45] DAPO - DAPO是对GRPO的改进算法，包括分离裁剪超参数、动态采样等创新点 [54][55][56] - 改进包括：两个不同裁剪超参数、移除平坦奖励样本、使用token级损失、管理过长生成 [54][55][56][57] - 建议从GRPO中移除KL散度惩罚以帮助学习 [59] - 通过消融实验显示模型保持更高熵（探索/随机性） [62] Dr. GRPO - 论文提出修改GRPO以改善学习动态，使生成长度增加较少情况下实现更强性能 [76][79] - 核心修改涉及GRPO实现中的常见做法，调整token优势分配方式 [80] - 移除问题级难度偏置，避免对高方差问题的惩罚 [81] - 比较Qwen 2.5、Llama 3.1和DeepSeek基础模型在数学问题上的表现 [85][86] 行业趋势 - 当前所有RL算法在实现层面高度相似，GRPO虽流行但变革聚焦核心维度 [15][16] - 业界逐渐转向直接估计优势值而非价值函数建模 [20] - 数据分布对强化学习效果起关键作用，提示策划和难度评估成为重点 [22][41] - 模型大小与性能关系显示大模型token效率更高，但小模型通过优化也能达到相当效果 [29][31]