计算机视觉
搜索文档
给Ego数据补上「全身」,世界模型的Scaling有了新的路径
机器之心· 2026-10-14 10:54
机器之心发布 机器人数据采集过去几年,一直在努力做一件事: 摆脱机 器 人本体,让采集变得更轻、更便宜,也更容易扩大规模。 最早,机器人主要依靠遥操作学习。操作员控制机器人完成任务,系统记录关节状态、末端动作和环境信息。这种方式得到的数据可以直接用于机器人策略训 练,但代价也很明显:每一小时数据背后,都需要真实的机器人、操作设备和相应的人员投入。 后来,UMI 等便携式示教方案开始摆脱本体约束,Ego 第一视角采集则将这件事进一步简化。人戴上相机,就可以走进家庭、办公室、商店,在真实环境中完成 各种操作。 数据采集终于不必总是围着机器人转了。 比如铺床。人需要走到床边、抓住被角、抬起双臂将被子展开,再沿着床边移动,一点点拉平褶皱。身体的位置决定双手能够触及哪里,抓握位置和力度则影响 布料如何展开。 一段第一视角视频可以记录眼前发生的操作,但视野之外的躯干、腿部如何运动,双手与布料接触时的压力如何变化,却无法直接测量。对于要学习全身移动灵 巧操作的机器人来说,这些恰恰是重要的训练信息。 这就把机器人数据采集推向了一个新的选择:继续用更轻的设备获取更多视频,还是重新补回那些在轻量化过程中被舍弃的交互信息? 破晓智 ...