核心观点 - 莱斯大学与英伟达联合提出RoboTok，一种面向互联网规模数据的人类示范非参数检索数据引擎，旨在从互联网人类视频中挖掘与任务相关的操作轨迹数据，以提升下游机器人操作策略的成功率 [1][2][3] 行业背景与数据挑战 - 具身智能快速升温，从机械臂到人形机器人，从工业装配到家庭服务，机器人开始从感知走向决策并完成真实世界复杂操作 [1] - 广泛且多样化的示范数据对机器人学习至关重要，但采集成本高昂且难以扩展到现实世界中数量庞大的长尾任务、物体和环境 [1] - 从现有数据中检索提供了一种替代方案，使学习系统能识别与特定任务相关的示范数据，无需反复采集新数据 [1] - 互联网视频包含海量且持续增长的人类操作行为，覆盖多样化场景、物体和视角，尤其适用于人形机器人和仿生灵巧手 [1][2] - 网络视频本质上是非结构化的，拍摄视角、场景及遮挡情况具有高度不确定性，视觉或语义相似性不一定意味着底层操作行为相似 [2] RoboTok技术方案与创新 - RoboTok是首个专门设计用于从互联网人类视频中挖掘数据、服务于灵巧操作学习的检索框架 [4] - 即使行为主体未直接出现在视频画面中，该方法依然能有效工作，并跨越不同拍摄视角及遮挡情况 [4] - RoboTok能持续对网络视频进行索引，将其作为可不断扩展的示范数据来源 [2] - 数据处理流程包括：对候选视频片段进行筛选，重建具有真实尺度的三维手部姿态，将不同视频中的轨迹规范化到统一的、以行为主体为中心的参考坐标系 [5] - 从大规模互联网视频语料库Action100M中处理视频片段，保留时长为4-8秒、摄像机基本保持静止且手部可见的视频 [5] - 使用WiLoR以5 fps频率估计三维手部关键点，通过关联帧间检测结果稳定追踪左右手身份，缺失姿态使用HaWoR补全 [6] - 检索模型采用轻量级轨迹编码器，直接处理以自我中心坐标表示的三维手部轨迹，通过位置编码和交叉注意力网络生成归一化嵌入向量 [7] - 训练目标由集合损失和排序损失两部分组成，使模型学习复现局部DTW邻域结构的嵌入空间 [10] - 检索过程分为离线与在线阶段：离线阶段每条轨迹编码一次并存储嵌入向量，在线阶段进行余弦相似度最近邻搜索 [11] - 新采集的视频片段可直接生成嵌入向量并加入现有索引，无需重新训练模型，使RoboTok具备持续扩展能力 [11] 检索质量评估结果 - 在RoboTok自身评估语料库上，RoboTok达到mAP@20=0.353、Recall@20=0.996，意味着几乎所有查询视频都能在前20结果中找到真正的DTW邻居 [13] - 表现最好的基线方法STRAP的mAP@20仅为0.007，Recall@20为0.12，FlowRetrieval和HAND表现接近随机水平 [13] - RoboTok的Kendall's τ达到0.487，表明其不仅能检索相关示范，还能进行相对正确的排序 [13] - 在AssemblyHands数据集上，RoboTok的mAP@5达到0.261，明显高于STRAP的0.133 [14] - 在平均DTW代价方面，RoboTok检索结果为1.095米，仅比真实邻居的0.966米高13%，而随机检索的平均DTW代价为1.911米 [15] 下游机器人策略性能提升 - 在VTDexManip灵巧操作仿真基准上，使用RoboTok检索结果引导的策略在6个任务中的5个任务上超过基准测试中表现最佳的预训练方法 [16] - 综合全部6个任务，与最佳基线相比，RoboTok在已见物体上的平均成功率提高7.45%，在未见物体上提高5.83% [17] - 在难度更高的任务设置中，RoboTok大幅领先于其他基线方法检索结果引导的模型 [17] - 在BottleCap Turning任务中，RoboTok在已见物体上的成功率达77.3%，比排名第二的HAND提高17.8个百分点 [18] - 在Faucet Screwing任务中，RoboTok达44.8%，比下一最佳方法HAND提高38.0个百分点 [19] - 在Lever Sliding任务中，RoboTok在已见物体上的成功率达79.3%，比HAND提高59.8个百分点 [20] 未来发展方向 - 研究团队计划进一步将RoboTok扩展至由运动摄像机拍摄的视频，包括第三人称视角和自我中心视角的示范视频 [21] - 该方向有望进一步缓解机器人学习长期面临的数据采集瓶颈，使机器人能充分利用互联网中已存在的、规模庞大且高度多样化的人类操作示范数据 [21]