虚拟到现实迁移(Sim2Real)

搜索文档
RSS 2025|物理驱动的世界模型PIN-WM:直接从视觉观测估计物理属性,可用于操作策略学习
机器之心· 2025-05-23 08:01
研究背景与问题 - 机器人操作中物体运动涉及摩擦、碰撞等复杂物理机制,准确的物理属性描述可提升运动预测和操作技能学习表现 [1] - 现有仿真环境物理属性与真实环境存在明显差异且难以校准,虚拟到现实迁移(Sim2Real)是行业难题 [1] 解决方案与技术框架 - 提出PIN-WM(Physics-INformed World Models),通过可微物理和可微渲染从视觉观测中直接辨识刚体物理属性 [2][3] - 引入PADC(Physics-Aware Digital Cousins)在辨识参数附近扰动生成多样化世界模型变体,提升策略鲁棒性 [3][11] - 采用Real2Sim2Real框架:系统辨识阶段优化渲染/物理参数,策略训练阶段利用数字表亲增强泛化能力 [10][12] 技术创新点 - 仅需少量任务无关交互轨迹即可实现物理属性辨识,支持操作技能学习与Sim2Real迁移 [7][9] - 可微物理提供动力学基础描述和梯度引导,使模型对未见状态-动作对具备良好泛化能力 [3] 实验验证 - 在低摩擦场景下测试"推"和"翻转"任务,PIN-WM成功率显著领先: - 仿真实验:物理参数估计误差较基线方法降低30%以上 [16] - 真机实验: - 推任务成功率75%(vs基线最佳40%),步数37.5步(vs基线64.6步) [17] - 翻转任务成功率65%(vs基线25%),步数11.3步(vs基线18.5步) [17] - 在光滑玻璃/粗糙平面等不同材质表面均验证有效性,支持多种物体尺寸操作 [23][28][32][40] 应用价值 - 首次实现非抓取式操作技能无需微调的直接Sim2Real迁移 [4] - 解决了复杂物理机制(摩擦、碰撞)下的机器人操作策略泛化难题 [14][42]