视觉强化学习综述 核心观点 - 该综述对视觉强化学习（VRL）领域进行系统性梳理，整合200+篇研究成果，提出四大主题支柱：多模态大型语言模型、视觉生成、统一模型框架和视觉-语言-动作模型，并分析算法设计、奖励工程及评估协议 [5] - 强调强化学习在视觉任务中的关键作用，包括跨模态对齐、长序列优化及可验证奖励设计，同时指出开放挑战如推理效率、长视野信用分配等 [47] 研究框架 强化学习范式 - RLHF（基于人类反馈的强化学习）：通过三元组偏好数据训练奖励模型，结合PPO优化策略，三阶段流程（监督预训练→奖励建模→策略优化）成为主流 [10] - DPO（直接偏好优化）：绕过奖励建模环节，直接通过封闭式监督目标优化策略，降低计算成本 [11] - RLVR（带可验证奖励的强化学习）：用确定性验证信号（如代码测试结果）替代人类偏好，提升客观性 [12] 策略优化算法 - PPO（近端策略优化）：通过重要性采样和广义优势估计实现稳定策略更新，依赖精确奖励模型 [15] - GRPO（群体相对策略优化）：利用群体归一化优势信号替代价值网络，降低内存消耗并提升训练稳定性 [16] 应用领域 多模态大型语言模型 - 传统方法：通过GRPO/PPO将视觉-语言模型与可验证奖励对齐，如RePIC、GoalLadder等 [17] - 空间感知：2D任务（目标检测、分割）和3D任务（布局推理）均采用规则驱动奖励和KL正则化微调 [18] - 视频推理：分层奖励设计（如VQ-Insight）和时间衰减回报（如TW-GRPO）解决长序列挑战 [20] 视觉生成 - 图像生成：DiffPPO等结合扩散模型与感知奖励（如ImageReward），提升生成质量 [21] - 3D生成：DreamCS等通过渲染-比较循环优化几何结构，强化学习实现标准方法难以达到的保真度 [24] 视觉-语言-动作模型 - GUI自动化：规则驱动奖励（如GUI-R1）和群体归一化更新（如UIShift）推动跨平台交互 [28] - 视觉导航：OctoNav-R1等结合第一人称视觉与低级动作控制，通过混合强化学习管道提升泛化性 [29] 评估体系 - 多模态模型：结合外部基准（如MME）、人类偏好奖励和KL散度监控 [35] - 视觉生成：FID/CLIP Score等传统指标与去噪轨迹诊断结合 [36] - GUI任务：在线成功率与逐步奖励设计（如Mind2web）平衡稀疏信号问题 [39] 未来方向 - 自适应推理：通过终止评论者动态平衡深度与效率 [43] - 长视野优化：子目标发现与对比视觉-语言评论者缓解稀疏奖励问题 [44] - 奖励模型设计：需开发抗攻击、跨模态且用户可定制的综合奖励函数 [46]