文章核心观点 - 清华大学等机构的研究团队提出了一种名为DexNDM的新方法，旨在解决灵巧手在复杂工具操作中的仿真到现实难题 [2] - 该方法通过创新的关节级神经动力学模型和自动化数据采集系统，显著提升了灵巧手在真实世界中旋转各类物体的通用性和稳定性 [5][19] - 基于DexNDM提供的强大原子技能，成功构建了一套高灵巧性、高鲁棒性的半自主遥操系统，能够完成使用螺丝刀、锤子等复杂工具操作以及长程装配任务 [7][15] 技术背景与挑战 - 实现高灵巧性的复杂工具遥操作是机器人领域的核心挑战，传统直接映射方案难以胜任精细指尖协调任务 [4] - 手内物体旋转是灵巧手“灵巧性”的集中体现，但涉及复杂且快速变化的接触动态，仿真与现实鸿沟巨大 [4] - 以往研究常局限于特定场景，如简单物体几何形状、受限物体尺寸或特定手腕姿态，缺乏通用解决方案 [4] 技术亮点与性能突破 - 全场景物体覆盖：首次实现在手掌朝下、侧向等挑战性腕部姿态下，对长条状物体沿长轴的持续稳定旋转及对微小物体的灵巧转动 [9] - 极广物体覆盖：使用更通用的Leap Hand机械手，在旋转相同物体时表现出比定制化D'Claw机械手的Visual Dexterity工作相当或更优的性能 [13] - 开创性能力：首次展示使用Allegro、Leap Hand等通用机械手在挑战性腕部姿态下稳定旋转多种表面凹凸不平的复杂几何体 [13] - 强大适应性：无论机械手处于何种朝向或任务要求物体沿哪个轴旋转，DexNDM均能稳定精确地完成指令 [14] 系统应用与鲁棒性 - 将手内旋转能力作为原子技能构建遥操作系统，操作者仅需通过手臂控制机械臂位姿并下达简单指令，即可完成使用螺丝刀、刀、锤子、笔等复杂工具任务 [15] - 策略的超强鲁棒性使系统能胜任对稳定性要求极高的长程装配任务，例如成功完成为桌子安装全部四条桌腿的完整装配流程 [15] 核心技术方法 - 关节级神经动力学模型：将复杂交互动力学在每个关节进行分解，独立预测各关节状态转移，具有高表现力、高数据利用效率和强可泛化性 [19][20] - 自动化数据采集系统：构建名为“混乱之盒”的自动化系统，通过将机械手放入软球容器中重放仿真策略动作，以全自动方式收集多样化真实世界交互数据 [21] - 残差策略训练：利用已学习的动力学训练残差策略网络，输出校正量以补偿基础策略动作，从而弥合仿真和真实世界之间的动力学差距 [23]