视觉强化学习综述 核心观点 - 该综述对视觉强化学习（VRL）领域进行系统性梳理，整合200+篇研究成果，提出四大主题支柱：多模态大型语言模型、视觉生成、统一模型框架和视觉-语言-动作模型，并分析算法设计、奖励工程及评估协议 [5] - 强调强化学习在视觉任务中的关键作用，包括跨模态对齐、长序列优化及可验证奖励设计，同时指出开放挑战如推理效率、长视野信用分配等 [47] 研究框架 强化学习范式 - **RLHF（基于人类反馈的强化学习）**：通过三元组偏好数据训练奖励模型，结合PPO优化策略，三阶段流程（监督预训练→奖励建模→策略优化）成为主流 [10] - **DPO（直接偏好优化）**：绕过奖励建模环节，直接通过封闭式监督目标优化策略，降低计算成本 [11] - **RLVR（带可验证奖励的强化学习）**：用确定性验证信号（如代码测试结果）替代人类偏好，提升客观性 [12] 策略优化算法 - **PPO（近端策略优化）**：通过重要性采样和广义优势估计实现稳定策略更新，依赖精确奖励模型 [15] - **GRPO（群体相对策略优化）**：利用群体归一化优势信号替代价值网络，降低内存消耗并提升训练稳定性 [16] 应用领域 多模态大型语言模型 - **传统方法**：通过GRPO/PPO将视觉-语言模型与可验证奖励对齐，如RePIC、GoalLadder等 [17] - **空间感知**：2D任务（目标检测、分割）和3D任务（布局推理）均采用规则驱动奖励和KL正则化微调 [18] - **视频推理**：分层奖励设计（如VQ-Insight）和时间衰减回报（如TW-GRPO）解决长序列挑战 [20] 视觉生成 - **图像生成**：DiffPPO等结合扩散模型与感知奖励（如ImageReward），提升生成质量 [21] - **3D生成**：DreamCS等通过渲染-比较循环优化几何结构，强化学习实现标准方法难以达到的保真度 [24] 视觉-语言-动作模型 - **GUI自动化**：规则驱动奖励（如GUI-R1）和群体归一化更新（如UIShift）推动跨平台交互 [28] - **视觉导航**：OctoNav-R1等结合第一人称视觉与低级动作控制，通过混合强化学习管道提升泛化性 [29] 评估体系 - **多模态模型**：结合外部基准（如MME）、人类偏好奖励和KL散度监控 [35] - **视觉生成**：FID/CLIP Score等传统指标与去噪轨迹诊断结合 [36] - **GUI任务**：在线成功率与逐步奖励设计（如Mind2web）平衡稀疏信号问题 [39] 未来方向 - **自适应推理**：通过终止评论者动态平衡深度与效率 [43] - **长视野优化**：子目标发现与对比视觉-语言评论者缓解稀疏奖励问题 [44] - **奖励模型设计**：需开发抗攻击、跨模态且用户可定制的综合奖励函数 [46]

研究背景与综述定位 - 视觉强化学习（Visual RL）的爆发源于强化学习在大语言模型（LLM）中的成功迁移，特别是RLHF（人类反馈强化学习）显著提升了LLM的人类偏好对齐与复杂推理能力[7] - 当前领域面临三大核心挑战：复杂奖励信号下的策略优化稳定性、高维视觉输入的高效处理、长周期决策场景的可扩展奖励函数设计[7] - 综述核心目标包括形式化视觉RL问题、分类200+研究为四大支柱（多模态LLM/视觉生成/统一模型/VLA模型）、分析算法设计与评估体系[8] 视觉强化学习的理论基础 - 问题建模采用马尔可夫决策过程（MDP），将文本/图像/视频生成统一为episodic MDP框架，状态包含用户prompt和已生成动作序列[15] - 三大对齐范式：RLHF（三阶段流程：SFT→奖励模型→PPO优化）、DPO（直接优化偏好数据）、RLVR（可验证奖励替代主观偏好）[18][19][20] - 策略优化算法PPO（带价值网络与KL惩罚）和GRPO（组相对优势+移除价值网络）分别适用于通用场景和内存密集型任务[26][27] 四大核心应用领域 多模态大语言模型（MLLM） - 常规RL驱动型MLLM使用可验证奖励（如精确匹配/IoU）优化VLM骨干，代表模型包括RePIC、GoalLadder、GRPO-CARE[32] - 空间感知方向分为2D（Omni-R1双系统GRPO优化情感识别）和3D（MetaSpatial用渲染深度奖励优化AR场景生成）[34] - 图像推理分为"基于图像思考"（SVQA-R1用视图一致性奖励）和"用图像思考"（GRIT优化答案正确性+框精度）[35] 视觉生成 - 图像生成三大奖励范式：人类中心偏好优化（ImageReward）、多模态推理对齐（UnifiedReward）、Metric驱动优化（DDPO最小化FID）[37][40] - 视频生成通过偏好模型优化（InstructVideo）、组相对优化（DanceGRPO）、领域特定奖励（Phys-AR惩罚物理定律违反）提升时序一致性[41] - 3D生成采用RL优化文本-网格生成（DreamCS融合轮廓IoU与CLIP对齐）、交互式编辑（Nabla-R2D3用实时渲染验证奖励）[41] 视觉-语言-动作模型（VLA） - GUI自动化分桌面（GUI-R1映射点击成功为稠密奖励）和移动场景（AgentCPM-GUI压缩动作空间适配设备）[42] - 视觉导航采用端到端RL（VLN-R1时间衰减奖励处理轨迹）和仿真微调（Flare实现家居场景泛化）[45] - 机器人操纵通过任务接地奖励（TGRPO）、课程式RL（RLVLA提升重排成功率）优化长周期规划[45] 评估指标与未来方向 - 分层评估框架包含集合级（FID/FVD）、样本级（人类偏好分数）、状态级（KL散度监控策略漂移）[46][48][49] - 开放挑战包括有效推理平衡（自适应周期策略）、VLA长周期RL（分层子目标发现）、视觉思考RL（混合动作空间设计）[50][51][52] - 奖励模型设计需融合低阶信号（几何一致性）与高阶偏好，并实现跨模态泛化与动态更新[53][56]

ROUSER团队 投稿 量子位 | 公众号 QbitAI 在视觉强化学习中，许多方法未考虑序列决策过程，导致所学表征缺乏关键的长期信息的空缺被填补上了。 来自中科大的研究人员在信息瓶颈 （Information Bottleneck） 框架下，提出了 一种新颖的鲁棒动作价值表征学习方法ROUSER 。 作者从理论上证明了ROUSER 能够使用学习到的鲁棒表征准确估计动作价值 ，从而避免了智能体在测试环境中的决策能力遭到削弱。 具体而言，ROUSER通过最大化表征与动作价值之间的互信息，来保留长期信息； 同时，最小化表征与状态-动作对之间的互信息，以滤除无关特征。 由于动作价值是未知的，ROUSER提出将状态-动作对的鲁棒表征分解为单步奖励和下一状态-动作对的鲁棒表征。 实验结果表明，在包括背景干扰与颜色干扰的12项任务中，ROUSER于其中的11项任务上优于多种当前的先进方法。 这导致这些方法难以捕捉序列数据中关键的长期信息，而这正是视觉强化学习泛化能力的核心因素之一。 为了针对性地解决这类问题，作者在信息瓶颈 （Information Bottleneck） 框架下，提出了鲁棒动作价值表征学习方法 （ROU ...