Workflow
视触融合
icon
搜索文档
人形机器人做汉堡火了! 伯克利等全新ViTacFormer让机器人操作稳如老手
机器之心· 2025-07-10 14:07
尽管已有研究尝试引入触觉信息提升策略表现,但往往停留在简单拼接或辅助通道的层面,缺乏结构性设计,难以充分发挥视触结合的潜力。 为应对上述挑战,来自 UC 伯克利、北京大学、Sharpa 等机构的研究人员提出 ViTacFormer,一个融合视觉与触觉信息,并引入未来触觉预测机制的统一框架,专 为提升灵巧操控中的精度、稳定性与持续控制能力而设计 。 灵巧操控是机器人实现类人交互的关键能力,尤其在涉及多阶段、细致接触的任务中,对控制精度与响应时机提出了极高要求。尽管视觉驱动的方法近年来快速 发展,但在遮挡、光照变化或复杂接触环境下,单一视觉感知常常失效。 触觉感知为机器人提供了与环境交互的直接反馈,在判断接触状态、施力时机等方面扮演着不可替代的角色。然而,当前大多数方法仅将触觉信息作为静态输入 进行融合,缺乏真正有效的多模态联合建模机制。更为关键的是,现有方法往往只关注当前的触觉状态,忽视了对未来触觉变化的预测。这种短视导致机器人在 连续操作中难以提前准备、策略难以稳定,特别是在需要时序感知和力觉判断的任务中表现不佳。 近日,一个「人形机器人做汉堡」的视频火爆全网! 这个具备 [主动视觉]、[高精度触觉] 以及 ...
机器人的“第六感”:视触觉传感器如何重新定义人机交互
钛媒体APP· 2025-05-10 19:05
视触觉传感器技术概述 - 视触觉传感器(VBTS)是一种基于视觉的触觉感知装置 能同时感知法向力 剪切力 相对滑动和物体位姿等多维信息 接近人手的触觉信息维度 [4] - 典型代表GelSight由MIT团队于2009年提出 使用弹性凝胶材料和内置摄像头捕捉形变 通过算法映射为触觉信息 [4] - 工作原理类似"接触成像系统" 弹性材料形变经光学系统放大后 通过深度学习算法重建三维压力分布图 识别精细纹理特征 [6] 技术优势与演进 - 优势包括高密度触觉信息 避免复杂布线 弹性材料适应性强 [6] - 技术演进从MIT的材质分类验证 到机械臂集成实现微米级分辨率操控 显著提升USB插拔等精细任务成功率 [7] - 近年迭代包括布里斯托大学TacTip仿生设计 UC Berkeley的OmniTact全方位感知 商业化产品GelSight等 [8] 技术路线与市场应用 - 三色光光度立体法路线分辨率高但体积大 单色光图案追踪路线解决算力 发热和耐用性问题 戴盟机器人采用后者并实现毫米级厚度 [10] - GelSight应用于物品缺陷检测 戴盟DM-Tac W传感器感知密度达4万单元/平方厘米(人手240单元) 应用于工业自动化 消费电子等领域 [11] - 应用场景覆盖工业精密装配 医疗手术组织区分 可穿戴设备触觉反馈等 [11] 行业发展与投资逻辑 - 行业处于早期阶段 市场无绝对龙头 技术优势在于多维度力测量和视觉系统协同 [13][14] - 技术瓶颈包括缺乏标准数据集 材料耐用性 计算资源需求和感知面积限制 [14] - 资本市场关注技术突破 成本下降和应用拓展 国内企业在政策支持下有望全球竞争 [12][15] 未来展望 - 随材料科学和AI算法进步 传感器将更小型化 低成本化 推动人机交互进入触觉感知时代 [16] - 技术变革使机器人实现花瓣拾取 微米级手术等类人操作 从二进制计算转向"血肉相连"的认知方式 [16]