文章核心观点 - 论文提出了一种名为DVDF（动力学和价值双对齐数据过滤）的新方法，用于解决跨域离线强化学习中的核心挑战，即源域与目标域之间的动力学偏移和数据质量问题 [8] - 该方法通过理论重构证明，高效的跨域离线强化学习必须同时兼顾动力学对齐与价值对齐，仅关注动力学相似性会因忽略数据质量而导致次优性能 [8][12] - DVDF作为一个插件模块，能够无缝集成到现有方法（如IGDF、OTDF）中，通过同时过滤“既像又值”的源域数据，显著提升目标域的策略学习性能 [8][18][23] 跨域离线强化学习的背景与挑战 - 离线强化学习通过利用历史静态数据学习策略，避免了高成本、高风险的在线试错，是推动强化学习走向现实应用的关键方向 [3] - 当目标环境数据稀缺时，跨域离线强化学习试图利用数据丰富的源域（如仿真环境）知识来弥补目标域数据不足 [4] - 核心挑战在于源域与目标域之间存在动力学偏移，直接合并数据训练会导致模型学习到无效的转移规律，性能迅速退化 [4] - 现有主流方法仅通过动力学对齐来过滤源域数据，其隐含假设是动力学相似性足以刻画数据的可迁移性，但此假设忽略了源域数据质量的关键影响 [5][7] 理论重构与核心发现 - 论文指出，现有跨域离线强化学习的理论框架与其真正的学习目标（最大化目标域性能）不匹配，导致方法只聚焦于动力学对齐 [8][11] - 通过直接推导目标域策略学习的次优性差距上界，从理论上明确：高效的跨域离线强化学习必须同时兼顾动力学偏移与价值偏差 [8][12] - 理论结果显示，次优性差距主要由动力学偏移项和价值偏移项共同控制，揭示了价值对齐（即数据质量）与动力学对齐同等重要 [12] - 价值对齐通过源域数据上学到的策略与源域样本内最优策略的价值函数差异来体现，高质量数据应具有更高的价值对齐度 [12] DVDF方法详解 - DVDF方法设计了一个统一的数据过滤框架，旨在同时实现源域样本的动力学对齐与价值对齐 [8][13] - 对于价值对齐的度量，方法提出使用离线强化学习算法（如SQL）在源域数据上进行预训练，以估计样本内最优策略的优势函数 [16][18] - 使用Sparse Q-learning (SQL)而非IQL进行预训练，因为SQL能通过引入稀疏性降低次优动作对价值估计的影响，从而得到更准确的优势函数估计 [18] - 方法定义了一个评分函数 `g(s,a,s′) = λ·h(s,a,s′) + (1-λ)·Norm(Â_pre(s,a))`，其中 `h` 评估动力学对齐得分，`Â_pre` 体现价值对齐程度，`λ` 为平衡两者的超参数 [18] - 根据评分函数筛选出高质量的源域样本后，利用标准的IQL算法进行策略优化，得到最终输出策略 [20] 实验验证与性能提升 - 实验在四种机器人控制任务（halfcheetah, hopper, walker2d, ant）中构建了关节偏移和形体偏移两种动力学偏移场景进行验证 [22] - 在关节偏移场景下，DVDF-IGDF在20个任务中的16个上超越了原IGDF方法，总分从1001.6提升至1164.7，增幅达16.3% [23] - 在关节偏移场景下，DVDF-OTDF在15个任务上超越了原OTDF方法，总分从986.5提升至1172.3，增幅达18.8% [23] - 在形体偏移场景下，DVDF-IGDF在20个任务中的16个上超越了原IGDF方法，总分从1039.0提升至1198.7，增幅达15.4% [23] - 在形体偏移场景下，DVDF-OTDF在14个任务上超越了原OTDF方法，总分从1042.1提升至1156.3，增幅达11.0% [23] - 消融实验表明，使用SQL算法进行优势函数预训练，相比IQL能获得更高的策略性能和更低的优势估计误差 [25] - 参数敏感性实验表明，设置对齐平衡系数 `λ=0.5` 以及数据选择比例 `ρ=0.5` 在大部分数据集上都能取得良好性能，避免了繁重的超参数微调 [28] 结论与意义 - 本论文通过实验和理论证明，动力学和价值双重对齐对于跨域离线强化学习至关重要 [31] - 提出的DVDF框架能够识别并筛选出对目标域策略学习有价值的源域样本，在多种场景下均展示了比基线算法更高的性能 [31]