研究背景与成果 - 该研究由北京大学团队完成，旨在解决家庭服务机器人从杂乱衣物堆中精准检索并抓取特定衣物的挑战性任务，其成果GarmentPile++已被机器人领域顶会ICRA 2026接收，并获EAI-100具身智能领域2025年度10大Demo项目奖[2] - 现实环境中衣物通常杂乱堆放，且因其高度柔性、状态空间近乎无限及动力学复杂，使得精准检索成为一项关键技术挑战[2] 技术方案与创新 - 提出的GarmentPile++是一个结合视觉-语言模型高层推理与视觉可供性模型低层操作的全新管线，支持根据语言指令检索特定衣物，并引入了由VLM触发的双臂协作机制以处理单臂难以应对的大型或长条状衣物[3] - 核心流程包含三个阶段：1) 利用SAM2提示VLM推理目标衣物；2) 利用可供性模型预测最佳抓取点；3) 利用VLM决策抓取流程，包括是否启动双臂协作[6] - 在视觉-语言引导的分割与选择阶段，创新性地设计了掩码微调机制，使VLM能自主判定并修正SAM2可能的分割错误，通过“抖动”衣物并重新分割以获得更精确的实例分割结果[12] - 在基于可供性的抓取点预测阶段，使用基于PointNet++的模型输入点云及目标衣物掩码特征，输出逐点的可供性分数，以选择位于衣物中心或褶皱处等能最大化成功率并减少干扰的抓取点[17] - 在基于状态感知的双臂协作阶段，VLM根据主臂抓起衣物后的视觉观测判断是否需要协作，并利用SAM2跟踪被抓起的衣物以提供视觉线索，辅助臂则在下垂部分选取抓取点进行配合[18] 实验验证与性能 - 在仿真和真实世界的开放边界与封闭边界两种典型场景中，测试了“顺序检索所有衣物”和“检索特定衣物”两类任务[20] - 对比实验显示，GarmentPile++在所有任务和场景中均取得了最高的平均成功率，同时保持了较低的平均抓取次数[21] - 具体数据：在开放边界场景顺序检索任务中，平均成功率为90.4%，平均抓取次数为1.106次；在封闭边界场景顺序检索任务中，平均成功率为87.4%，平均抓取次数为1.147次；在检索特定衣物（如绿色上衣、黑色裤子）的任务中，平均成功率也显著高于基线方法[22] - 消融实验证实了各核心模块的有效性：去除掩码微调会使特定衣物检索任务的平均成功率从87.7%降至84.1%；去除双臂协作会使顺序检索任务的平均成功率从87.4%降至63.4%；去除可供性模块则会导致随机抓取位置不优，增加双臂触发概率[24]

研究背景与挑战 - 柔性衣物操控是机器人操作领域的难题 因其具有近乎无限的状态空间和复杂的动力学特性 导致现有方法表现欠佳 [1] - 基于灵巧手（尤其是双臂协同）的柔性衣物操作面临三大核心挑战：数据难题（高维动作空间与复杂状态导致对数据依赖极大）、仿真环境局限性（物理准确性与真实感不足）、算法泛化能力弱（难以推广至形状状态高度变化的新衣物实例） [2] 解决方案：DexGarmentLab仿真平台 - 北京大学联合加州大学伯克利分校研究团队提出了首个专为灵巧（特别是双手）衣物操作设计的高保真仿真平台DexGarmentLab 基于Isaac Sim 4.5.0搭建 [2] - 平台具备多样化、高真实性的仿真场景 涵盖来自ClothesNet数据库的8大类共计超2500件柔性衣物 并配套15个高质量灵巧手衣物操作任务场景 [2] - 平台通过引入adhesion, friction, particle-adhesion-scale, particle-friction-scale等参数增强柔性衣物物理仿真的真实性 使灵巧手能依靠物理作用力直接抓取衣物 并保持衣物相对稳定的折叠状态 [9][11][13] - 提出的15项任务涵盖衣物自交互（如摊开、折叠）和衣物与环境交互（如悬挂、穿戴、收纳）两大类 全面模拟现实操作情境 [16] 解决方案：自动化数据采集管线 - 提出自动化数据采集管线 仅需单次专家示范即可自动生成多样化的操作轨迹 大幅减少人工成本 [3] - 管线流程包括：单次专家示范提取关键信息 利用功能可供性模型将抓取点映射到新衣物上 自动执行自适应调整的任务序列 [19] 解决方案：HALO泛化策略框架 - 提出分层策略HALO 结合功能可供性与扩散方法 自动生成可泛化的操作轨迹 [4] - 策略分为两阶段：阶段Ⅰ利用功能可供性模型生成具备泛化能力的可操作点 阶段Ⅱ引入结构感知扩散策略 以多模态点云和机器人状态为条件 生成总计60自由度的控制指令 [40][41] - 该策略在仿真和真实世界中均展现出强大的泛化能力和稳定的执行能力 [41] 实验验证与性能表现 - 大量实验验证表明 DexGarmentLab搭配HALO策略在模拟环境和现实应用中均表现出显著优势 [6] - 在仿真实验中 HALO策略在测试的14个任务上表现优异 例如在Fling_Dress任务上成功率为0.82 ±0.06 在Fold_Trousers任务上为0.85±0.05 在Hang_Dress任务上为0.83±0.02 [43] - 在真机实验中 对四个典型任务进行评估 每个任务测试了每类3件不同衣物且每件衣物设置5种初始变形状态 HALO策略在Fold_Tops任务上成功13/15次 Hang_Tops任务上13/15次 Wear_Scarf任务上11/15次 Wear_Hat任务上14/15次 均优于基线方法 [43] - 尽管测试样本在形状、长度、变形程度及与交互物体位置方面存在较大差异 HALO策略中的功能可供性模块能准确定位抓取区域 扩散策略模块能生成自适应操作轨迹 [44] 行业意义与潜在应用 - DexGarmentLab为柔性衣物操作提供了先导的仿真环境、高效的数据采集方式以及泛化的操作策略 [45] - 基于该平台可以拓展一系列柔性衣物工作 包括二指夹交互任务、灵巧手交互任务、移动操作任务、堆叠衣物交互任务等 助力具身智能迈向通用的家居场景 [45]