Workflow
全模态大模型
icon
搜索文档
给Ego数据补上「全身」,世界模型的Scaling有了新的路径
机器之心· 2026-10-14 10:54
机器之心发布 机器人数据采集过去几年,一直在努力做一件事: 摆脱机 器 人本体,让采集变得更轻、更便宜,也更容易扩大规模。 最早,机器人主要依靠遥操作学习。操作员控制机器人完成任务,系统记录关节状态、末端动作和环境信息。这种方式得到的数据可以直接用于机器人策略训 练,但代价也很明显:每一小时数据背后,都需要真实的机器人、操作设备和相应的人员投入。 后来,UMI 等便携式示教方案开始摆脱本体约束,Ego 第一视角采集则将这件事进一步简化。人戴上相机,就可以走进家庭、办公室、商店,在真实环境中完成 各种操作。 数据采集终于不必总是围着机器人转了。 比如铺床。人需要走到床边、抓住被角、抬起双臂将被子展开,再沿着床边移动,一点点拉平褶皱。身体的位置决定双手能够触及哪里,抓握位置和力度则影响 布料如何展开。 一段第一视角视频可以记录眼前发生的操作,但视野之外的躯干、腿部如何运动,双手与布料接触时的压力如何变化,却无法直接测量。对于要学习全身移动灵 巧操作的机器人来说,这些恰恰是重要的训练信息。 这就把机器人数据采集推向了一个新的选择:继续用更轻的设备获取更多视频,还是重新补回那些在轻量化过程中被舍弃的交互信息? 破晓智 ...
国内最年轻AI教授创业:要让世界模型走向全身全模态
量子位· 2026-10-14 10:34
文章核心观点 - 机器人数据采集正从单纯扩大人类操作数据规模转向关注数据中身体运动与触觉交互信息的完整性[1][2] - 破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub,在轻量化Ego路线基础上补回全身运动与触觉信息[5][6] - 公司最终目标是做好全模态世界模型,但当前选择从数据采集设备入手,解决模型所需数据难以低成本规模化获取的问题[27][28] - 行业数据采集趋势从遥操作走向Ego做减法,但当机器人学习迈步弯腰搬运和精细操作时,镜头外的身体运动与接触信息成为不可舍弃的部分[32][33] 产品与技术方案 - SeePhys Hub由四目头环两个腕部手环三个腰腿部动作追踪器和一副触觉手套组成,通过视觉与运动信号融合恢复全身姿态[5] - 采用稀疏节点方案,在腰部和双小腿布置三个动作追踪器,结合头部视觉与双腕信息,通过算法恢复全身姿态[11] - IMU提供运动相关信号,UWB提供节点间测距信息,再与视觉结合估计全身姿态[11] - 四目头环提供360°环视,腕部相机补充近距离操作细节,可选配触觉手套记录双手与物体接触时的压力变化[11] - 头环内相机IMU和UWB的同步精度不超过0.5毫秒[15] - 头环重量不超过220克,单个腕部手环不超过75克[17] - 配套平台负责解析清洗动作切分和语义标注,并衔接场景重建姿态估计和手部追踪,动作重定向将人的动作映射到机器人本体[15] 工程取舍与产品定位 - 触觉手套采用可选设计,手环与手套可以分开使用,客户按任务选择配置[22][24] - 数据采集运营方第一个要求是不要让人戴手套,因为洗碗等防水场景中精细操作会受穿戴影响,传感器本身也可能出现噪声[23] - 团队曾在测试中遇到手套抓过几次水杯后空手伸开仍显示局部压力的情况[23] - 在破晓创始人兼CEO杨朔描述的三层数据金字塔里,底层是量大的互联网视频,顶层是高精度动捕真机操作等数据,SeePhys Hub瞄准中间层[18] - 动捕数据可用于监督姿态估计,真机数据帮助模型适配机器人,人类视频提供更多场景和操作,可穿戴设备补充走进真实环境跟着人持续记录的能力[21] 商业模式与合作 - 破晓侧重产品设计与算法,天珑移动提供成本控制供应链及质量保障方面的经验[24] - 有算法能力的客户可以购买硬件自行处理数据,需要完整方案的客户可以选择配套算法和本地部署,科研等场景还可以使用云端平台获得处理后的数据[24] - 数据采集运营商具身模型团队场景方和科研机构等,都是团队瞄准的使用者[25] - 设备背后的积累还包括姿态估计算法以及用于训练和验证算法的配对数据[25] 团队背景与研究积累 - 破晓智能创始人杨朔1998年出生,现任哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授博士生导师,26岁获评,是国内人工智能领域最年轻的教授博导[29] - 公司90%以上的核心成员毕业于清华大学北京大学香港大学哈尔滨工业大学等高校,研究与工程实践覆盖全模态大模型世界模型大规模数据处理及硬件研发[29] - 2026年5月EgoTouch数据集及TouchAnything研究公开,前者将第一视角视频双手姿态与真实触觉压力同步记录,后者尝试从视频中估计接触区域和压力分布[30] - TouchWorld模型提前预测视觉与接触目标,执行中再根据真实触觉反馈修正偏差,插插头擦锅抽纸都是团队用来测试它的真机任务[30] - SeePhys Hub将研究范围从双手接触扩展到全身运动[30] 战略规划与行业判断 - 团队预计在2027年推出全模态世界模型,并优先在工业餐饮零售等垂直场景开展应用验证[30] - 破晓现阶段仍不准备造自己的机器人本体,杨朔认为数据模型和落地场景还在变化,过早定下硬件可能限制后续算法方向,称为纯纯的沉没成本[31] - 当前团队利用通用本体测试模型,并计划与本体商场景方合作开展应用试点,未来是否推出自己的本体要等场景需求和商业回报更明确[32] - 破晓对模型竞争的判断是,机器人最终需要在真实环境中实时感知决策和执行,许多场景还要求端侧部署,如何让有限规模的模型掌握物理交互能力并稳定完成任务可能是更加现实的挑战[32] - 行业数据采集一直在做减法,从遥操作走向Ego,摆脱机器人本体简化采集设备,让更多人类日常操作成为可以规模化获取的训练数据[32] - 破晓选择在轻量化路线之上补回全身运动与触觉,SeePhys Hub负责记录更完整的人类真实交互,未来的全模态世界模型则要进一步学习动作接触与物理结果之间的关系[33]