研究背景与成果 - 该研究由北京大学团队完成，旨在解决家庭服务机器人从杂乱衣物堆中精准检索并抓取特定衣物的挑战性任务，其成果GarmentPile++已被机器人领域顶会ICRA 2026接收，并获EAI-100具身智能领域2025年度10大Demo项目奖[2] - 现实环境中衣物通常杂乱堆放，且因其高度柔性、状态空间近乎无限及动力学复杂，使得精准检索成为一项关键技术挑战[2] 技术方案与创新 - 提出的GarmentPile++是一个结合视觉-语言模型高层推理与视觉可供性模型低层操作的全新管线，支持根据语言指令检索特定衣物，并引入了由VLM触发的双臂协作机制以处理单臂难以应对的大型或长条状衣物[3] - 核心流程包含三个阶段：1) 利用SAM2提示VLM推理目标衣物；2) 利用可供性模型预测最佳抓取点；3) 利用VLM决策抓取流程，包括是否启动双臂协作[6] - 在视觉-语言引导的分割与选择阶段，创新性地设计了掩码微调机制，使VLM能自主判定并修正SAM2可能的分割错误，通过“抖动”衣物并重新分割以获得更精确的实例分割结果[12] - 在基于可供性的抓取点预测阶段，使用基于PointNet++的模型输入点云及目标衣物掩码特征，输出逐点的可供性分数，以选择位于衣物中心或褶皱处等能最大化成功率并减少干扰的抓取点[17] - 在基于状态感知的双臂协作阶段，VLM根据主臂抓起衣物后的视觉观测判断是否需要协作，并利用SAM2跟踪被抓起的衣物以提供视觉线索，辅助臂则在下垂部分选取抓取点进行配合[18] 实验验证与性能 - 在仿真和真实世界的开放边界与封闭边界两种典型场景中，测试了“顺序检索所有衣物”和“检索特定衣物”两类任务[20] - 对比实验显示，GarmentPile++在所有任务和场景中均取得了最高的平均成功率，同时保持了较低的平均抓取次数[21] - 具体数据：在开放边界场景顺序检索任务中，平均成功率为90.4%，平均抓取次数为1.106次；在封闭边界场景顺序检索任务中，平均成功率为87.4%，平均抓取次数为1.147次；在检索特定衣物（如绿色上衣、黑色裤子）的任务中，平均成功率也显著高于基线方法[22] - 消融实验证实了各核心模块的有效性：去除掩码微调会使特定衣物检索任务的平均成功率从87.7%降至84.1%；去除双臂协作会使顺序检索任务的平均成功率从87.4%降至63.4%；去除可供性模块则会导致随机抓取位置不优，增加双臂触发概率[24]