视触觉

搜索文档
Science Robotics|耶鲁大学开源视触觉新范式,看出机器人柔性手的力感知
机器人圈· 2025-07-08 18:36
机器人视触觉传感技术突破 - 耶鲁大学提出" Forces for Free "( F3 )新范式,仅用标准 RGB 摄像头和优化柔性手爪即可实现精准力感知,硬件成本接近零 [1][2] - 系统能完成小孔插销(精度0.2N)、曲面擦拭(恒力1N)和书法写作等精细力控任务,平均力误差低至0.15N [14][15][17][19][21] - 相比传统F/T传感器(昂贵且笨重)和触觉传感器(易磨损),该方案通过软件算法解锁力感知能力 [2][5] F3柔性手设计优化 - 基于开源T42手爪改进,通过等长连杆设计和90°关节角优化运动学可操纵性,远离奇异构型确保形变可见性 [6][9] - 采用滚珠轴承替代金属销钉,将内部摩擦力从4.0N降至0.6N,减少迟滞效应提升力估算精度 [7][9] 视觉力感知算法架构 - CNN-Transformer模型处理20帧历史图像序列,通过时空关联解决"同形不同力"问题 [10][11] - 集成SAM视觉基础模型分割手爪区域,消除背景干扰并增强抗遮挡能力 [11][13] 应用前景与局限性 - 当前支持二维力感知(10Hz响应),未来可扩展至三维力/力矩估算及多指灵巧手应用 [22] - 完整开源方案包含硬件设计、算法代码和数据集,显著降低研究门槛 [22][23]
人形机器人:技术迭代方向展望 - 2025年中金公司中期投资策略会
中金· 2025-07-01 08:40
报告行业投资评级 未提及 报告的核心观点 通用机器人需具备多地形适应性和灵巧操作能力,人形结构更适应人类环境,操作能力决定应用价值上限,训练需算法、数据、硬件协同,触觉传感器对精细操作至关重要,推动通用化落地需加强硬件、数据和算法,“接近”技术是关键 [1][2] 根据相关目录分别进行总结 通用机器人等级定义 - 呆萌机器人将通用机器人分为任务类通用、场景内通用和跨场景通用三个等级,跨场景通用是终极形态但实现仍遥远 [3] 不同等级通用机器人硬件配置 - 不同通用能力的机器人硬件构型和配置不同,跨任务或跨场景机器人需具备多地形适应性和灵巧操作能力,人形结构有助于适应人类环境,强大操作能力决定应用价值上限 [4] 训练通用机器人方法 - 训练通用机器人需从算法、数据和硬件三个层面构建核心模块和能力,通过采集数据建立观测与输出映射关系实现广泛应用,但构建通用模型面临挑战 [1][5] 触觉传感器重要性 - 触觉传感器对实现精细操作至关重要,人类手指触觉多维度信息助于精确操作,机器人需高分辨率、多维度、高频率触觉传感器实现类似人类灵巧性 [1][6] 呆萌机器人光学式触觉传感器特点 - 利用光学成像与弹性体形变获取手部模态信息,单位面积分辨率高,不受外部磁场及温湿度影响,2025 年 4 月推出全球首款多维高分辨率、高频率视觉传感器,最小厚度 9 毫米,每平方厘米 4 万个点,可精准感知物体形貌及切向力,对温度不敏感但力敏感度极高 [7] 数据采集设备提升训练效果方式 - 呆萌推出以人为中心的数据采集设备,可捕捉视觉、手部触觉及手臂运动,更真实反映人类操作,有助于构建视觉、触觉、语言及动作模型,提高训练成功率 [1][8] 触觉传感器对数据采集成本和训练效率影响 - 引入触觉传感器可大幅降低机器人训练成本和数据采集次数,达到 80%以上成功率,无触觉传感器需约 5 万次数据采集、成本约 15 万元,有触觉传感器只需 100 次、成本仅 300 元 [1][9] 视觉传感器在 AI 模型训练中的作用 - 视觉传感器适合用于 AI 模型训练,能以图像信息表征,视触觉基于视觉的触觉传感,能结合原生视觉信息处理,许多最佳论文围绕视触觉展开 [10] 触觉传感器应用场景 - 触觉传感器可用于手指尖、机械臂关节处或连接部位、双足机器人脚底,实现整臂主动操作、人类安全交互及保持平衡 [11] 推动机器人通用化落地需加强方面 - 推动机器人通用化落地需在硬件(高质量触觉传感器、灵巧操作终端)、数据(以人为中心的数据采集设备)和算法(构建对触觉良好表征)上全面加强 [2][12] “接近”技术的重要性 - 过去十几年视觉技术发展,未来智能设备与物理世界互动需“接触”环节,具备先进功能的“接近”技术是关键因素 [13]
不做整机,戴盟机器人发布具身智能全链路解决方案卡位上游核心赛道|智能涌现
21世纪经济报道· 2025-04-16 14:37
文章核心观点 深圳具身智能公司戴盟机器人发布三款新品构建具身智能数据训练全链路解决方案 以视触觉技术为核心探索整机之外生态位并多方布局 [1][6] 产品发布情况 - 4月16日戴盟机器人发布三款新品 分别是触觉传感器DM - Tac W、多维触觉感知五指灵巧手DM - Hand1、便携穿戴式遥操作数据采集系统DM - EXton [1] - 三款产品贯通机器人“感知 - 操作 - 学习”技术核心 构建具身智能数据训练全链路解决方案 且做成即插即用标品 [1] 视触觉技术研发 - 戴盟视触觉传感器研发历时8年 首席科学家王煜带领团队独创全新视触觉传感器技术路线 [2] - 戴盟开辟不依赖三色光的高分辨率视触觉感知技术路线 基于单色光原理可同时实现正压力和切向力超高分辨率 [2] - 2024年戴盟在保证高分辨率基础上 突破性将传感器厚度从几厘米缩小至几毫米 打造出有完全自主知识产权的视触觉传感器 [2] 产品优势 - 戴盟产品每平方厘米覆盖4万个感知单元 是阵列式触觉传感器数百倍 [3] - 采用触觉流概念 降低对信息传输带宽需求 可减少产品散热 [3] - DM - EXton重2.5kg 有手臂及手部54个自由度 采集频率高于800Hz 可瞬时反响无时延 可无线连接做到30m无障碍传输 100%适配市面上主流机器人本体厂商 [4] 产品战略 - 戴盟围绕视触觉传感技术打造产品 造出即插即用灵巧手 开发外骨骼数据采集设备 攻克触觉感知难关 构建全链路解决方案 [4] - 戴盟不想下场做整机 更多是提供解决方案给下游厂商 [5] 资本运作与布局 - 2024年11月戴盟连续完成两轮亿元级天使 + 轮融资 由金鼎资本等联合投资 2023年9月完成数千万天使轮融资 由昆仲资本独家投资 [6] - 在上游供应链获金鼎资本等投资确保核心零部件供应稳定 在中游与联想战略合作完成部分生产环节 在下游计划用灵巧手标品打开更多服务业场景 [6]
人大北邮等团队解视触觉感知统一难题,模型代码数据集全开源 | ICLR 2025
量子位· 2025-03-14 19:22
文章核心观点 - 从动静结合角度构建统一的多传感器触觉表征空间,提出TacQuad数据集和AnyTouch学习框架,学习适用于各种任务的通用触觉表征,有望建立视触觉感知标准化学习范式 [21] 视触觉传感器潜力与挑战 - 赋予机器人类似人类的触觉感知能力是具身智能重要研究方向,视触觉传感器因高分辨率展现巨大潜力 [1] - 构建基于视触觉传感器的触觉感知系统面临挑战,传感器种类多且缺乏统一标准,异构性制约系统泛化和鲁棒性,当前模型欠缺对动态触觉细节的捕捉能力 [4] TacQuad数据集 - 缺乏显式配对多传感器数据的可靠触觉数据集,导致不同视触觉传感器采集的数据难迁移使用 [6] - 采集配对的多传感器多模态触觉数据集TacQuad,提供含文本描述和视觉图像的配对数据,支持构建统一的多传感器触觉表征空间 [7] - 挑选GelSight Mini、DIGIT、DuraGel、Tac3D四种触觉传感器,用粗粒度和细粒度两种方法采集两组多传感器配对数据,每次触觉接触记录视觉图像并由GPT - 4o生成触觉属性描述,还利用GPT - 4o为多个开源触觉数据集生成或扩展文本描述 [7][8] - 细粒度时空对齐数据含25个物体的17524个接触帧,用于细粒度触觉任务;粗粒度空间对齐数据含99个物体的55082个接触帧,用于跨传感器匹配任务 [10] AnyTouch学习框架 - 受人类触觉综合体验启发,提出动静结合的多传感器统一触觉表征学习框架AnyTouch,从静态和动态感知结合角度学习统一的多传感器触觉表征 [8] - 采用多层级架构,第一阶段关注像素级触觉细节,第二阶段学习传感器无关的语义级特征,使用通用传感器Token整合存储传感器信息 [12] - 掩码图像/视频建模采用掩码自编码器技术,训练模型捕捉像素级细节,重建动态视频时引入未来帧预测任务 [14] - 多模态对齐通过触觉 - 视觉 - 文本多模态对齐整合多传感器触觉数据,以文本模态为锚点,选择最大数据子集对齐 [14] - 跨传感器匹配引入新任务,确定输入的触觉图像或视频是否采集自同一对象同一位置,对相同触觉信息的表示聚类,形成统一的多传感器表征空间 [14] 实验与分析 - 将GelSight、GelSlim、DIGIT和GelSight Mini的数据整合到AnyTouch训练中,与未接触触觉数据的CLIP模型相比,使用GelSight数据训练显著提升模型性能,整合其他传感器数据后模型在未见数据集上性能提升 [13] - 对比CLIP模型和逐步引入各组件的AnyTouch模型,跨传感器匹配任务使来自不同传感器的触觉表征在共享空间中完全混合,转向更通用的跨传感器信息 [16] - AnyTouch在已见与未见传感器的数据集上均优于现有方法,证明其在静态感知能力上的优势 [18] - 在细粒度倾倒任务实验中,结果表明从动静结合角度学习统一的多传感器表示对完成各种任务至关重要 [20]