作者 | Abel chen 编辑 | 自动驾驶之心 原文链接： https://zhuanlan.zhihu.com/p/1948681769332240910 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 本文只做学术分享，如有侵权，联系删文 1. GRPO是on policy还是off policy？为什么？ 简短答案： GRPO 最初设计和常用实现是 on-policy（在线/近端策略式） ；但它可以被扩展为 off-policy，已有工作专门研究这种扩展及其优缺点。 为什么是 on-policy（解释） 为什么有人说可以 off-policy（扩展） 最近有工作把 GRPO 的思想推广到 off-policy 场景（比如用来自别的策略 / 旧批次的数据来估计优势并做修正），并且报告了在样本效率、稳定性等方面的潜在好 处与权衡。也就是说，虽然 GRPO 本质上是基于 on-policy 的 surrogate objective，但数学上和工程上可以设计重要性采样、批内归一化或裁剪等技巧把它改成 off- policy 版本。 实践建议（简要） ...