研究背景与挑战 - 柔性衣物操控是机器人操作领域的难题 因其具有近乎无限的状态空间和复杂的动力学特性 导致现有方法表现欠佳 [1] - 基于灵巧手（尤其是双臂协同）的柔性衣物操作面临三大核心挑战：数据难题（高维动作空间与复杂状态导致对数据依赖极大）、仿真环境局限性（物理准确性与真实感不足）、算法泛化能力弱（难以推广至形状状态高度变化的新衣物实例） [2] 解决方案：DexGarmentLab仿真平台 - 北京大学联合加州大学伯克利分校研究团队提出了首个专为灵巧（特别是双手）衣物操作设计的高保真仿真平台DexGarmentLab 基于Isaac Sim 4.5.0搭建 [2] - 平台具备多样化、高真实性的仿真场景 涵盖来自ClothesNet数据库的8大类共计超2500件柔性衣物 并配套15个高质量灵巧手衣物操作任务场景 [2] - 平台通过引入adhesion, friction, particle-adhesion-scale, particle-friction-scale等参数增强柔性衣物物理仿真的真实性 使灵巧手能依靠物理作用力直接抓取衣物 并保持衣物相对稳定的折叠状态 [9][11][13] - 提出的15项任务涵盖衣物自交互（如摊开、折叠）和衣物与环境交互（如悬挂、穿戴、收纳）两大类 全面模拟现实操作情境 [16] 解决方案：自动化数据采集管线 - 提出自动化数据采集管线 仅需单次专家示范即可自动生成多样化的操作轨迹 大幅减少人工成本 [3] - 管线流程包括：单次专家示范提取关键信息 利用功能可供性模型将抓取点映射到新衣物上 自动执行自适应调整的任务序列 [19] 解决方案：HALO泛化策略框架 - 提出分层策略HALO 结合功能可供性与扩散方法 自动生成可泛化的操作轨迹 [4] - 策略分为两阶段：阶段Ⅰ利用功能可供性模型生成具备泛化能力的可操作点 阶段Ⅱ引入结构感知扩散策略 以多模态点云和机器人状态为条件 生成总计60自由度的控制指令 [40][41] - 该策略在仿真和真实世界中均展现出强大的泛化能力和稳定的执行能力 [41] 实验验证与性能表现 - 大量实验验证表明 DexGarmentLab搭配HALO策略在模拟环境和现实应用中均表现出显著优势 [6] - 在仿真实验中 HALO策略在测试的14个任务上表现优异 例如在Fling_Dress任务上成功率为0.82 ±0.06 在Fold_Trousers任务上为0.85±0.05 在Hang_Dress任务上为0.83±0.02 [43] - 在真机实验中 对四个典型任务进行评估 每个任务测试了每类3件不同衣物且每件衣物设置5种初始变形状态 HALO策略在Fold_Tops任务上成功13/15次 Hang_Tops任务上13/15次 Wear_Scarf任务上11/15次 Wear_Hat任务上14/15次 均优于基线方法 [43] - 尽管测试样本在形状、长度、变形程度及与交互物体位置方面存在较大差异 HALO策略中的功能可供性模块能准确定位抓取区域 扩散策略模块能生成自适应操作轨迹 [44] 行业意义与潜在应用 - DexGarmentLab为柔性衣物操作提供了先导的仿真环境、高效的数据采集方式以及泛化的操作策略 [45] - 基于该平台可以拓展一系列柔性衣物工作 包括二指夹交互任务、灵巧手交互任务、移动操作任务、堆叠衣物交互任务等 助力具身智能迈向通用的家居场景 [45]