文章核心观点 - 清华大学深圳国际研究生院丁文伯团队联合多所机构，受鸽子多光谱视觉与非成像感知机制启发，研发出一种仿生多模态触觉传感器SuperTac及触觉语言模型DOVE，旨在将机器人触觉感知能力提升至“人类水平”，为智能制造、医疗辅助与服务机器人等领域提供新一代解决方案，相关成果发表于Nature Sensors创刊号，是国内机构首次以第一单位在该期刊发表文章 [3][4] 研究背景与现有技术瓶颈 - 当前机器人触觉系统在感知维度、分辨率和信号理解能力上远逊于人类，难以支撑复杂动态的真实场景任务 [3] - 现有主流触觉传感方案存在显著不足：电子皮肤难以兼顾高分辨率与多模态融合；视触觉传感器感知谱段通常局限于可见光，缺乏对温度、材质等非成像模态的融合能力；当前系统普遍缺乏能融合多模态信息并进行语义推理的智能模型，导致机器人“有感无知” [4] 系统核心架构与工作流程 - 研究构建的多模态触觉传感系统包含三大核心组件：仿生多模态触觉传感器SuperTac、数据处理与特征提取模块、以及触觉语言模型理解推理层DOVE [4] - 系统采用分层设计实现全流程闭环处理：物理信号感知层同步采集多光谱视觉、摩擦电和惯性测量信号；数据融合处理层基于深度学习网络进行特征提取和模态融合；语义理解推理层通过DOVE模型将多模态特征映射到语义空间；最终集成至应用交互层支持实际任务 [5][7] - 该架构的核心创新在于实现了物理传感-特征提取-语义理解的端到端一体化设计，将传统分离的传感与解读过程有机融合 [7] 生物灵感来源与传感器设计 - 设计灵感来源于鸽子视网膜中多类型视锥细胞的分工机制，特别是紫外敏感细胞，以拓展传感器的光谱感知范围，并模拟其用于磁场感知的特殊分子机制，将非成像感知能力迁移至触觉领域 [6] - SuperTac通过多光谱成像（紫外、可见光、近红外、中红外波段）、摩擦电传感模块与惯性测量单元集成，实现对纹理、力、颜色、温度、材质、接近感、姿态等多物理量的同步感知 [6] - 传感器采用气压可调的硅胶充气支撑结构，动态调节0-7N力感知范围，并实现对复杂曲面的高保真轮廓重建 [6] - 感知皮肤采用总厚度仅1mm的四层薄膜堆叠结构，具备高透明度、良好导电性、光控透明切换等特性，通过内部光源开关可在触觉模式与视觉模式间智能切换 [9][10] 数据处理、特征提取算法与模型性能 - 力与位置感知采用基于U-Net的编码器-解码器架构，经过86,440组数据训练，达到位置检测均方误差0.056mm、力检测均方误差0.0004N的精度 [12] - 多模态分类任务采用专门化网络设计，在纹理识别、材质分类、颜色识别、滑动检测及碰撞检测上分别达到98%、95%、100%、97%及94%的准确率 [12] - 三维重建与轮廓感知方面，基于紫外荧光标记的位移分析算法实现变形重建，平均均方根误差0.0892、平均绝对误差0.0375，可识别0.07mm细发并实现100%盲文字符识别准确率 [12] - DOVE触觉语言模型采用基于预训练视觉-语言模型的架构，总参数量达8.6B，通过三阶段训练策略实现多模态特征到语义空间的嵌入对齐，能够融合触觉、温度、颜色和材质等信息进行联合推理 [14] - 为训练模型，系统采集了6种颜色、3种温度、10种材质和6种纹理的完整组合物理数据，并基于GPT-4和规则脚本生成了30,000组触觉语言问答对 [14] 系统验证与性能评估 - 系统性能通过多层次实验体系验证，包括基础传感性能精度标定、多属性识别准确率评估、80,000次接触循环的耐久性测试，以及在机器人抓取、物体识别、人机交互等真实场景中的可靠性测试 [17] - 研究进行了对比实验，与传统GelSight等传感器在轮廓感知、纹理识别等关键性能指标上进行系统化比较 [17] 总结与未来展望 - 研究为机器人触觉感知开辟了多个发展方向：硬件层面推动传感器的微型化以集成于机器人指尖；DOVE模型的模态无关框架具有良好的可扩展性，能为多模态触觉系统提供通用软件基础 [18] - 未来工作将重点研发低功耗解码芯片与高集成度封装方案，以减小系统尺寸并解决散热与稳定性问题，同时持续优化DOVE模型在不同传感器设计和专用数据集上的表现，增强其泛化能力与实用性 [18]