机器人触觉感知
搜索文档
国内首篇!融合语言模型的多模态触觉传感器
具身智能之心· 2026-01-26 11:42
文章核心观点 - 清华大学深圳国际研究生院丁文伯团队联合无界智航(Xspark AI)及多所国内外科研机构,受鸽子感知系统启发,研发出仿生多模态触觉传感器SuperTac,并构建了8.5B参数的触觉语言模型DOVE,实现了机器人触觉信号从底层物理感知到高层语义推理的突破,标志着机器人触觉感知向“人类水平”迈出关键一步 [1][2] 仿生逻辑与硬件设计 - 传感器SuperTac的硬件设计灵感来源于鸽子复杂的感知系统,特别是其多光谱视觉和非成像感知能力 [6][7] - 集成了小型化多光谱成像模块,覆盖紫外(390 nm)、可见光(400–700 nm)、近红外(940 nm)及中红外(5.5–14.0 μm)的超宽频段,使机器人能同时解析热辐射、荧光位移等信息,全面表征物体形状、纹理、颜色和温度 [9][10][11] - 在1 mm厚的皮肤内嵌入了摩擦纳米发电机(TENG)和惯性测量单元(IMU),TENG利用接触起电原理识别材质(准确率95%)并实现15 cm内的接近觉感知,IMU捕捉0–60 Hz的振动及碰撞信号 [12] 核心感知机制 - 核心是厚度仅为1 mm的光场调制多层感知皮肤,最外层采用透明PEDOT:PSS导电层,通过丝网印刷在TPU薄膜上形成涡旋线电极设计,提供均匀电学信号以实现高精度材质分类与接近觉探测 [14] - 皮肤包含单向透视反射层作为光学开关,通过调节内外光强差,使传感器能在“触觉模式”下捕捉表面微观纹理与形变,或在外部光源下直接获取物体RGB颜色信息 [16] - 紫外荧光标记层利用在紫外光下激发的荧光标记,实现了形变监测与物体纹理检测的解耦,确保能同步捕捉切向滑动与表面细节 [16] 触觉语言大模型DOVE - 构建了8.5B参数的触觉语言模型DOVE,采用分层架构,底层骨干由预训练大语言模型Vicuna构成,提供语言理解与逻辑推理基础 [19] - 并行集成四组预训练的CLIP模型作为模态编码器,将图像化的触觉特征(颜色、纹理、温度、材质信号)提取为深层特征向量 [19] - 通过三阶段训练策略实现从感知到认知的递进:先用CLIP将异构传感器信号转为通用图像表征,再通过投影层将触觉特征对齐至语言模型空间,最后对Vicuna骨干进行微调,使其能结合常识进行复杂推理 [20] 应用场景与能力 - SuperTac与DOVE结合,实现了从“物理感知”向“语义认知”的跨越,赋予机器人类人的具身交互能力 [22] - 在基础识别维度,能实时融合多模态数据,为物体建立全方位“物理画像”,例如将感官印象转化为人类可理解的语言描述(如“黄色,室温,表面具有规律排布的凸起纹理,判定为金属材质”) [24] - 在高层级应用上,能将实时触觉反馈与预训练的大模型常识结合,推断物体潜在功能并做出逻辑决策,如在垃圾分拣任务中,根据触觉特征判定物体为废弃塑料饮料瓶,并基于环保常识建议放入可回收垃圾桶 [24][26] 未来发展方向 - 硬件方面,通过传感器微型化、低功耗芯片及高集成封装,提升机器人手内操作的灵活性并解决高负载下的散热稳定性难题 [28] - 认知层面,依托DOVE模型的模态无关框架,通过优化传感器配置与专用数据集来持续增强系统的泛化能力,为实现自然、高效的人机交互奠定基础 [28]
国内首篇!融合语言模型的多模态触觉传感器,推动机器人触觉迈向人类水平
机器之心· 2026-01-25 12:01
文章核心观点 - 清华大学深圳国际研究生院丁文伯团队联合无界智航(Xspark AI)及多所国内外科研机构,受鸽子感知系统启发,研发出仿生多模态触觉传感器SuperTac,并构建了8.5B参数的触觉语言模型DOVE,实现了触觉信号从底层感知到高层语义推理的突破,标志着机器人触觉感知向“人类水平”迈出关键一步 [2] 一、仿生逻辑:从鸽子眼球到多模态感知架构 - SuperTac的硬件设计灵感源于鸽子复杂的感知系统 [7] - 传感器集成了小型化多光谱成像模块,覆盖紫外(390 nm)、可见光(400–700 nm)、近红外(940 nm)及中红外(5.5–14.0 μm)的超宽频段,使机器人能同时解析热辐射、荧光位移等深层物理信息,全面表征物体形状、纹理、颜色和温度 [10][11] - 传感器在1 mm厚的皮肤内嵌入了摩擦纳米发电机(TENG)和惯性测量单元(IMU),TENG可根据物体电负性差异识别材质(准确率95%),并实现15 cm内的接近觉感知;IMU可捕捉0–60 Hz的振动及碰撞信号 [12] 二、核心机制:光场调制的「智能感知层」 - SuperTac的核心是厚度仅为1 mm的光场调制多层感知皮肤,最外层采用透明PEDOT:PSS导电层,通过涡旋线电极设计实现均匀电学信号,结合摩擦起电机制实现高精度材质分类与接近觉探测 [14] - 皮肤内的单向透视反射层充当光学开关,通过调节内外光强差,使传感器能在“触觉模式”下捕捉表面微观纹理与形变,或在外部光源下直接获取物体RGB颜色信息 [16] - 紫外荧光标记层利用在紫外光下激发的荧光标记,实现了形变监测与物体纹理检测的解耦,确保能同步捕捉切向滑动与表面细节 [16] 三、触觉语言大模型:8.5B参数背后的多模态融合架构 - 触觉语言模型DOVE采用分层架构,底层骨干由预训练的大语言模型Vicuna构成,提供语言理解与逻辑推理基础 [19] - 系统并行集成了四组预训练的CLIP模型作为模态编码器,将图像化的触觉特征(颜色、纹理、温度、材质信号)提取为深层特征向量 [19] - DOVE通过三阶段策略训练:首先用CLIP将异构传感器信号转化为通用图像表征;随后通过投影层将触觉特征对齐至语言模型空间;最后对Vicuna骨干网络进行微调,使其能结合常识对触觉指令进行复杂推理 [20] 四、应用场景:从物理触碰到语义逻辑的跃迁 - SuperTac与DOVE结合,实现了从“物理感知”向高层“语义认知”的跨越,赋予机器人类人的具身交互能力 [22] - 在基础识别维度,DOVE能实时融合多模态数据,为物体建立全方位“物理画像”,例如将未知杯子的感官印象转化为“黄色,室温,表面具有规律排布的凸起纹理,判定为金属材质”的语言描述 [24] - 在高层级应用上,DOVE能将实时触觉反馈与大模型常识结合,推断物体潜在功能并做出逻辑决策,如在垃圾分拣任务中,根据触觉特征推论物体为“废弃的塑料饮料瓶”并建议放入可回收垃圾桶 [26] 五、未来方向 - 硬件方面,未来将通过传感器微型化、低功耗芯片及高集成封装,提升机器人手内操作的灵活性并解决高负载下的散热稳定性难题 [28] - 认知层面,将依托DOVE模型的模态无关框架,通过优化传感器配置与专用数据集来持续增强系统的泛化能力,为实现自然、高效的人机交互奠定基础 [28]
半年两迭代,价格下探1299元,戴盟“自卷”如何撬动机器人触觉感知的千亿市场?
机器人大讲堂· 2025-11-20 18:05
文章核心观点 - 戴盟机器人通过其新一代视触觉传感器及端侧AI计算平台,解决了机器人从“机械执行”迈向“灵巧感知”的核心瓶颈,以高性价比的系统方案降低具身智能的落地门槛 [1][8][16] 技术突破 - 新一代视触觉传感器突破IP65标准,可应对液体泼溅和粉尘覆盖,表面材质通过500万次按压测试,重新定义工业级耐久标准 [2] - 传感器具备微米级纹理识别能力,每平方厘米集成数万个感知单元,可捕捉精密器件表面0.1mm划痕,并配备六维力感知功能,细腻度超越人类指尖 [4] - 产品线覆盖多种尺寸与形态,包括中号、大号、“锋刃”型号及指尖传感器,以适应不同应用场景需求 [6] 系统解决方案 - 公司推出DM-Flux端侧AI计算平台,尺寸为89mm×75mm×33mm,提供高达10 TOPS算力,可同时接入五路传感器,实现“感知-决策-控制”闭环 [8][10] - 平台采用即插即用设计,通过CAN FD与RS485接口直接连接传感器,配合可视化UI界面,降低用户使用门槛,实现从单一硬件到系统解决方案的转变 [12] 市场定价与战略 - 新一代视触觉传感器方案定价1299元起,远低于国际同类方案数千元的价格,具备高性价比 [13] - 低成本优势源于其单色光技术路线的规模化优势,相较于麻省理工三色光方案,减少了硬件成本和生产复杂度,通过技术迭代推动行业成本下降 [15]
深圳的咖啡馆里,又开始聊创业了丨一线
吴晓波频道· 2025-11-18 08:30
硬件创业生态 - 硬件创业进入黄金时代,深圳南山科技园聚集上万个创业团队 [4] - 深圳是全国创业密度最高的城市,按1799万常住人口计算,每4个人中就有1个在创业 [8] - 创业团队规模小且灵活,不少仅1-2人即可完成可落地的成熟硬件 [6][20] 创业者类型 - 第一类为硬件领域顶尖技术人才,如侯宁喆拥有北大到牛津的机器人学术背景 [5][11] - 第二类为从互联网等行业转型的年轻人,具备产品能力和用户思维,如李怡璐从产品经理转型硬件创业 [5][15] - 第三类为传统代工厂老板转型自主品牌,如张海龙从代工转向研发智能戒指自有品牌Lonstech [5][16] 创业案例与融资 - 侯宁喆创立猿声先达,专注机器人触觉感知技术,半年内完成三轮融资 [12][15] - 李怡璐团队仅3人,开发便携净水器,以15万元成本完成从立项到海外众筹超百万人民币 [15][22] - 云望创新AI按摩仪由00后创始人研发,团队10人已完成第三轮融资,获小红书与真格基金注资 [23] 供应链与资源网络 - 华强北供应链效率极高,上午提需求下午即可交付加工好的零件 [28] - 深圳拥有高度发达的供应商网络,从工业设计到打样测试均可低成本外包 [31] - 社会化协作模式降低试错成本,使缺乏硬件经验者也能凭借好点子创业 [26][32] 孵化机构支持 - 深圳科创学院等孵化机构提供技术、供应链及融资支持,已孵化云鲸、海柔创新等企业 [34][35] - 南山区共有243家孵化载体,包括58家孵化器和185家众创空间,在孵企业与团队超8600个 [36] 行业成果与影响力 - 影石创新全球全景运动相机市占率达67%,拓竹科技2024年营收近60亿元 [41] - 正浩创新在便携储能市场全球市占率35%,Plaud Note全球销量突破100万台 [41] - 深圳2024年产出20个IPO,新增296家国家级专精特新"小巨人"企业,PCT国际专利申请量1.63万件连续21年全国第一 [50] 政策与资本环境 - 南山区设立总规模5亿元的种子基金和天使基金,单个项目最高允许100%亏损 [45] - 深圳拥有2.5万家国家高新技术企业,每平方公里密度12家居全国第一 [49] - 人工智能企业超2600家,机器人相关企业超7.4万家,南山区形成10公里"机器人谷" [50]
【CCRS 2025】圆满落幕!中国第六届机器人学术年会在长沙画上完美句点
机器人圈· 2025-08-04 19:38
行业盛会概况 - 第六届中国机器人学术年会以"人机共融 智向未来"为主题 汇聚200余位院士专家及3000余名全球参会者 [2] - 设置7个主旨报告 14个主题报告 115个分论坛特邀报告 覆盖工业/服务/特种/海洋/医疗机器人等热门领域 [2][3] - 展示259份科研成果海报 举办7场顶刊论坛和8场主编论坛 形成全方位学术交流矩阵 [3] 技术前沿突破 - 具身智能制造需突破自主感知-决策-执行闭环 多机协同优化等关键技术 实现物理与数字深度耦合 [7] - AI增强触觉感知技术可提升机器人对人类意图识别能力 在养老助残领域具应用潜力 [9] - 仿生智能系统需具备多约束/高动态环境生存能力 仿生导航/操控技术取得实质性进展 [14] - 机器视觉空间计算技术向高精度/强泛化发展 在工业/航空航天领域实现目标精确感知 [21] 产业发展方向 - 人形机器人需解决功能构型/性能综合/行为智能等核心问题 工程应用是研究生命线 [18][19] - 数据与模型协同驱动是机器人能力升级关键 需加强产学研国际合作应对全球挑战 [16] - 低算力小样本的机器记忆智能路径 有望突破大模型能耗高/可解释性差的瓶颈 [11][12] 学术生态建设 - 会议云相册实时共享机制提升学术传播效率 扫码即可获取全部会议资料 [51] - 工业创新中心/国家工程研究中心等机构联合承办 形成产学研协同创新平台 [2] - 分论坛聚焦特种/工业机器人等议题 引发激烈技术讨论与思想碰撞 [43]
他山科技开源触觉模拟仿真,引领机器人触觉技术迭代方向
机器人大讲堂· 2025-06-07 18:43AI 处理中...