核心观点 - 强化学习是提升大语言模型智能程度的核心且复杂的训练环节，其复杂度体现在算法和系统整体要求上 [2] - 行业正从单轮、单信号的人类反馈强化学习向多轮复杂交互条件下的端到端强化学习进化 [27] - 超大规模强化学习系统面临推理、评估和训练三方面的协同挑战，需要算法与系统的协同设计 [27][58] 理论基础与工程化 - 强化学习算法理论要求策略与环境交互，使大语言模型高效探索世界并获得更好奖励以适应环境目标 [4] - 策略层面的核心是学习算法，指导策略更新梯度；环境层面的核心是奖励函数，用于对问题给予正确奖励 [4] - 算法理论看似简洁，但实际工程化执行逻辑极为复杂，涉及多个算法组件的相互作用 [5] - 工程化实践的现状是框架运行图高度复杂，远超理论抽象 [5] 核心算法演进 - 人类反馈强化学习是早期关键实践，通过人工评价模型响应并训练奖励模型拟合人类判断 [10] - 该方法优势是模型结构简单、训练稳定，但存在奖励劫持风险，且人类标注无法覆盖所有行为方面 [11] - 行业实践转向人类反馈与机器反馈结合，例如DeepSeek的生成式奖励模型会在输出分数前给出文字解释 [11] - 传统PPO算法全链路复杂，涉及推理、评估和训练三个环节，需同时训练Actor和Critic模型 [13][14][15] - 算法演进出现两条路径：一是基于偏好对的DPO类算法，可跳过奖励模型训练但假设强且易过拟合 [17]；二是DeepSeek R1应用的GRPO算法，通过重复推理估计优势，避免Critic函数训练稳定性问题 [19] - GRPO在编程等纯推理场景优势明显，但未来在多轮长上下文交互中，价值函数可能发挥更大作用 [19] 超大规模系统挑战 - 强化学习进展迅速，应用范围从模型安全对齐扩展到追求推理能力上限 [24] - 超大规模系统需整合推理、评估和训练，每个维度都面临升级挑战 [27] - 推理引擎需支持权重动态更新和高效传递，例如670亿参数模型的权重需广播到整个集群 [28][35] - 需要灵活的打断机制，在权重更新时停止推理以避免产生无效数据，并优化路由机制利用KV Cache等资源 [35] - 评估环节目前主要基于CPU，但未来复杂场景需GPU参与，评估系统算力占比将大幅提升 [41][58] - 训练框架需在兼容性和效率间权衡，行业多在Megatron、DeepSpeed/FSDP等方案中选择 [44] 开源生态现状 - 中国厂商推出多个高质量开源框架，包括OpenRLHF、VeRL、AReaL、ROLL、Slime等 [50][53][56] - 各框架在调度引擎、训练引擎、推理引擎选择上各有特点，但核心都是对超大规模系统设计的思考 [55][56] - 开源系统未来需在推理效率、评估系统算力、训练性能与生态平衡方面进一步共建 [58]