本研究由快手科技语言大模型团队完成，核心作者苏振鹏，潘雷宇等。快手语言大模型团队聚焦在基础语言大模型研发、Agent RL 等前沿技术创新等方向，积累务实的探索 AGI 的能力边界，并不断推进 AI 领域新技术和新产品的发展。此前，该团队已 开源了 Klear-46B-A2.5B 和 Klear-Reasoner-8B 等模型，其中 Klear-Reasoner-8B 在数学和代码的基准测试上达到了同参数级别 模型的 SOTA 效果。 在大语言模型的后训练阶段，强化学习已成为提升模型能力和对齐质量的核心范式。然而，在广泛采用的 off-policy 的训练范式 中，更新当前策略的数据由旧的行为策略生成，导致分布漂移的问题的发生，这通常会将策略推至信任域之外，使强化学习的 训练变得不稳定。 尽管 PPO 通过重要性采样的裁剪机制缓解了部分问题，但它仅能约束已采样动作的概率变化，忽略了未采样动作的全局分布漂 移。为了应对这些挑战，快手研究团队提出了一种创新的熵比裁剪方法。该方法从全新的视角切入，通过约束策略熵的相对变 化来稳定全局分布，为强化学习训练提供了更加可靠的控制手段。 研究背景 强化学习训练过程中长期面临 ...