文章核心观点 - 具身智能的数据路线正从遥操作快速转向人类视频，但灵巧手因涉及接触力与触觉信息，面临比夹爪更复杂的数据难题 [1][3] - 灵巧操作的核心瓶颈在于接触，Sharpa 围绕此确立三条探索主线：解决本体差异、解耦运动与交互、以触觉为锚学习跨本体表征 [5][23] - 三条主线并行且相互促进，最终在底层 System 0 汇合，为具身智能分层架构提供数据与触觉控制基础 [23][79] 灵巧操作的数据两难 - 遥操作数据与机器人本体对应可直接训练，但操作员难以获得高保真接触力与触觉反馈，精细操作中只能凭视觉猜测力度 [19][20] - 以人为中心的数据采集通过动捕、数据手套或头戴相机记录，人手有完整触觉反馈且操作自然，但存在人手与机器人手的本体差异 [20][21] - 本体差异分两层：视觉上画面是人手而非机器手；动作上只能得到 hand state 而非动作，缺少力和触觉信号 [22] - 数据采集越贴近人的自然动作，本体差异越大；越贴近机器人结构，对操作者要求越高、体验越差 [22] 主线一：击穿具身鸿沟 - 核心目标是解决以人为中心的数据与遥操作数据之间的本体差异，回答数据如何转化为机器人能力 [27] - UVTA 在 Sharpa AE01 外骨骼数据手套基础上加装指尖触觉传感，22 自由度被动连杆记录手指运动，每个指尖力敏电阻阵列记录触觉，腕部相机记录第一视角画面 [26] - UVTA 将人类演示与少量机器人遥操作数据联合训练，映射到共享视觉-触觉-动作空间，人类数据仅作训练监督，部署时机器人执行自身动作 [30] - UVTA 将视觉-触觉输入转换为 20 维压阻式触觉单元 token，Transformer 提取 384 维视觉 token，拼接为 404 维交互表示 [32] - 在翻书、拧灯泡、拨开关、小球分类、液体转移五个任务上，UVTA 平均成功率 70%，对照 T-Rex 为 29% [32] - Scaling 实验中固定每任务 150 条机器人演示，人类演示从 0 条增至 1000 条，三个任务平均成功率从 0% 升至 84%，1000 条时仍未饱和 [32] - DexEMG 用前臂表面肌电信号推断手部姿态，实时重定向到 22 自由度 Sharpa Wave 灵巧手，不依赖摄像头，手指被遮挡时仍可遥操作 [33] - Dex-X 从单目 RGB 人类视频提取人手与物体三维运动轨迹，导入物理仿真环境，通过碰撞体与接触动力学反向补足手-物交互力学信息 [36] - 主线一将数据采集重心从逼迫人适应机器转向让系统理解人类手感，把人类数据能否用于灵巧操作的定性问题变为可用 Scaling 曲线回答的定量问题 [40] 主线二：解耦运动与交互 - 核心思路是把运动和交互拆开处理：运动部分从人类视频学习，接触丰富的交互部分交给仿真和强化学习 [43] - 接触前的大范围移动更接近运动学问题，人类视频提供丰富先验；接触后的挤压、滑动和力控是动力学问题，对误差高度敏感 [43] - CraftNet 分层模型将决策分为三层：System 2 推理脑由视觉语言模型负责理解指令拆解任务，运行频率约 1 Hz [44][47] - System 1 运动脑负责运动规划和接触前粗略控制，约 10 Hz；System 0 交互脑在接触阶段利用实时触觉反馈持续调整手指，约 100 Hz [47] - 第一种接口是踏板：MoDE-VLA 用强化学习训练 IMCopilot 原子技能，操作员用外骨骼控制手臂、脚踩踏板驱动手内旋转 [45] - IMCopilot 辅助下手内操作成功率 89%，直接遥操作仅 34% [49] - MoDE-VLA 在削苹果、试管整理、齿轮装配、充电器插接四个任务上平均成功率从基线 15% 提升到 34%，削苹果成功率从 0% 提升到 30%，削皮完成度从 8% 提升到 73% [49] - 第二种接口是点云：Dex-X 从单目人类视频重建手与物体交互，在仿真中让强化学习策略跟踪参考动作，仿真被称为触觉补全引擎 [50] - Dex-X 将仿真策略蒸馏为以点云、本体感知和指尖触觉为输入的学生策略，部署到 Sharpa Wave 灵巧手，真机方块抓取任务成功率 93% [50] - 伯克利 Jitendra Malik 与 Pieter Abbeel 团队的 Do as I Do 从日常人类视频重建手-物交互并重定向为灵巧手动作，655 条野外视频重定向成功率从 25% 提升到 71%，在 Sharpa Wave 上完成搅拌、倾倒、擦除等 10 项真机任务 [51] - GALATEA 利用扩散视频模型基于首帧图像与自然语言指令生成手-物交互过程，通过双目深度锚定与接触感知优化解构 3D 手部与物体运动轨迹 [51] - GALATEA 从 2500 段生成视频中筛选约 2000 条高质量轨迹，仿真中成功落地超过 1500 段策略，蒸馏出单一控制器实现抓取、非抓取推拉、空中姿态微调等闭环泛化 [52] - 第三种接口是隐空间：TacBPM 在 8 个不同尺寸球体上分别训练手内重定向专家策略，蒸馏进以触觉为条件的隐空间控制器 [58] - TacBPM 在复杂物体多任务设置中，直接用原始动作训练的 PPO 成功率仅 1%，TacBPM 达到 70%；机械臂加灵巧手仿真抓取中部分物体成功率从不足 1% 提升到 97% [58] - SimToolReal 训练以物体为中心的仿真策略，无需针对每种工具重新训练，零样本完成 6 类工具、24 项任务，相比重定向和固定抓取方法提升 37%，入选 RSS 2026 口头报告 [63] - Play2Perfect 让灵巧手先在仿真中进行与任务无关的自由玩耍式预训练，再微调到精密装配，样本效率比从零训练高 33 倍，在 0.5 毫米间隙紧配合插入任务上取得 60% 成功率 [63] - 三种接口方向一致：把接触层从上层模型剥离，交给高频、带触觉的底层 [60] 主线三：以触觉为锚 - 核心关注数据怎么用，当前机器人策略往往与特定机器人、灵巧手甚至触觉传感器绑定，硬件一换数据要重新采、模型要重新训 [62] - 跨本体学习必要性体现在两方面：好的基座模型应学到面向操作、与本体无关的表征；下游机器人形态各异，真正泛化必须面向不同本体 [64] - 触觉最适合承载与本体无关的表征，本体可以变，触觉信号隐含的操作过程不变，触觉因此成为跨本体学习的锚点 [62] - FTP-1 由清华大学、Sharpa、上海交通大学、伯克利、苏黎世联邦理工学院、复旦大学等合作，提出跨触觉传感器的通用触觉基础策略 [62] - FTP-1 将不同形式触觉输入映射到同一隐空间，由统一 Transformer 处理，在约 3000 小时、来自 21 种触觉传感器的数据上完成预训练 [67] - FTP-1 在预训练见过的传感器配置上带来 17.2% 提升，在两种从未见过的传感器配置上成功率提升 31% [69] - 不含触觉数据的对照模型 NTP-1 表现劣于 FTP-1，说明大规模触觉预训练帮助模型学到跨本体、跨传感器可复用的表征 [69] - EgoScale 由英伟达、伯克利和马里兰大学合作，用 20854 小时第一视角人类视频预训练，再用约 50 小时人类数据和 4 小时机器人数据做中期训练 [70] - EgoScale 在 22 自由度 Sharpa Wave 上平均成功率相比无预训练基线提升 54%，选择 Sharpa Wave 因其与人手 1:1 尺寸和高自由度结构 [70] - T-Rex 由伯克利、英伟达、斯坦福等合作，基于 Sharpa Wave 构建 100 小时触觉同步遥操作数据集，覆盖 22 种运动原语和 200 多种日常物体 [71] - T-Rex 设计变频率混合 Transformer 专家结构：动作专家约 5 Hz 生成动作，触觉专家约 20 Hz 根据触觉信号实时修正 [71] - T-Rex 在削皮、擦拭、挤压、插入、取出等 12 个接触丰富任务上平均成功率 65%，比最强基线 EgoScale 高约 30 个百分点 [71] - 研究接力清晰：EgoScale 验证人类数据规模效应，T-Rex 引入触觉以 EgoScale 为基线提高约 30 个百分点，UVTA 又以 T-Rex 为对照继续推进 [72] - 触觉必要性存在争议，FELT 尝试直接从 RGB 图像生成指尖触觉信号并提升纯视觉策略表现 [72] - 张凯峰回应：轻触和用力按压在画面上几乎无区别；手指包住物体时视觉信息大量丢失，触觉往往是少数还能用的信号 [75] - 两种路线未必互斥，从视觉生成触觉可降低数据采集成本，真实触觉信号可能决定接触阶段能做到多精细 [73] - SaTA 把触觉特征锚定到手部运动学坐标系，让策略推断物体在手中的几何位置，在 USB-C 盲插、灯泡安装等亚毫米精度任务上成功率最高提升 30 个百分点 [74] - Tacmap 把仿真与真实触觉信号统一到同一种几何表示，使仅在仿真中训练的手内旋转策略零样本迁移到真实机器人 [74] 三条线在底层汇合 - 触觉和本体感知放在底层 System 0，视觉、语言乃至声音等承载高层语义的模态放在上层 System 1 和 System 2 [79] - 主线一、二解决接触数据从哪里来，主线三解决接触信息如何跨本体复用，二者都在为 System 0 提供燃料 [79] - 合并逻辑对应 Sharpa 的飞轮思路：好的硬件带来好的数据，好的数据训练出好的模型，真实世界部署再反过来为硬件、数据和模型迭代提供反馈 [79] - Sharpa Wave 设计归结为仿生：与人手同构、1:1 尺寸、22 个自由度，EgoScale、Do as I Do 都把这几点作为研究前提 [79] - 研究者还关注两点：可靠性，不能一小时就坏且维修两周；标定和一致性做得好，仿真与真机差距小，可顺畅在仿真中做强化学习再迁移到真机 [79] - IROS 2026 上 Sharpa 发布 D01 整机、W02 灵巧手和 AE01 触觉反馈数据手套，AE01 是 22 自由度外骨骼手套，指尖可提供振动触觉反馈 [82] - Sharpa 与 Dairy Queen 联合打造的机器人暴风雪餐厅于 8 月 29 日在上海吴江路开业，机器人需独立完成从点单到交付的 55 步流程，其中 98% 的步骤涉及触觉 [89] 行业判断 - 张凯峰判断单刚体的类人灵巧操作有望在未来 3 到 6 个月内取得突破，整体可能在两年左右尺度上解决 [91] - 通用大模型空间推理能力快速提升，原本被认为需要机器人数据才能解决的问题正被不使用机器人数据训练的模型逐步攻克 [91] - 上层推理和规划可能越来越多由通用模型承担，但手指与物体接触之后的那一毫米需要高频触觉反馈、与本体紧密耦合的控制和专门采集设计的数据 [91] - 过去一年越来越多团队把触觉写进模型架构，把接触交给高频底层，这条路线正从一家公司的判断变成学术界共同议题 [92] - Sharpa 与英伟达、香港大学、伯克利、清华、上海交大等合作者的十余篇论文，构成这一转向中一组相当集中的样本 [92]