人形机器人技术突破 - 具备主动视觉、高精度触觉及高自由度灵巧手的人形机器人首次实现2.5分钟连续自主控制，完成从原材料到制作汉堡的全流程操作[1] - 灵巧操控是机器人实现类人交互的核心能力，尤其在多阶段细致接触任务中需极高控制精度与响应时机[2] - 当前单一视觉感知在遮挡或复杂接触环境下易失效，触觉感知提供直接交互反馈但缺乏多模态联合建模机制[2] ViTacFormer技术框架 - 由UC伯克利、北京大学等机构提出，融合视觉与触觉信息并引入未来触觉预测机制，提升灵巧操控的精度与稳定性[4][9] - 核心创新：通过跨模态注意力动态融合视觉与触觉信号，并采用自回归触觉预测分支预判未来接触状态[9][11] - 系统采用双臂机器人架构，配备17自由度灵巧手和320×240分辨率触觉传感器，同步采集双视角视觉数据[13][14] 实验性能验证 - 在插销、拧瓶盖等4项短程任务中，ViTacFormer成功率平均提升50%以上，显著优于仅用视觉或简单触觉融合的基线模型[18][22][24] - 在11阶段的汉堡制作长时任务中，模型实现80%成功率并稳定完成2.5分钟连续操作，展现多阶段连贯控制能力[25][27][28] - 专家示范采用机械外骨骼手套与VR头显联动，提升接触密集型任务的训练数据质量[16] 行业影响与认可 - 研究获Transformer作者Lukasz Kaiser等知名学者转发，技术方案开源在GitHub平台[7] - 团队核心成员包括UC伯克利Pieter Abbeel、Jitendra Malik及北大校友耿浩然[5]