文章核心观点 - 触觉是具身智能实现物理世界精确交互不可或缺的感知模态，其与视觉、语言等模态的融合是机器人领域的必然趋势[2] - 一篇由多所顶尖高校及企业联合完成的综述论文，系统梳理了截至2026年第一季度的多模态触觉融合研究，提出了涵盖数据集、方法、硬件和评估的层次化分类体系[2][3] 多模态触觉融合的重要性 - 触觉提供了关于物体几何形状、材质属性及接触动力学的直接、近端反馈，这是视觉等远程传感器无法替代的[7] - 触觉是连接被动观察与主动物理交互的桥梁，对于解决视觉模糊性、实现精确操作和稳定抓取至关重要，是构建稳健感知-行动闭环的基本组成部分[7] 多模态触觉融合的处理流程 - 现有系统普遍遵循一个严谨的四阶段处理流程：1) 物理转导与时空观察；2) 特定模态表征学习；3) 跨模态融合；4) 具身解码与任务执行[10][13] 多模态触觉融合的层次化分类体系 - 综述提出了一个系统性的层次化分类体系，将领域划分为三大支柱：多模态数据集、多模态方法和触觉传感器[12] 多模态数据集的发展 - 数据集发展脉络分为四大阶段：T-V（触觉-视觉）、T-L（触觉-语言）、T-V-L（触觉-视觉-语言）和T-V-O（触觉-视觉-其他）数据集[17] - T-V数据集从早期实验室抓取（如2016年VT Dataset的18个物体实例）向无约束野外环境（如2025年Touch in the Wild的2.6百万样本）和复杂形变物体发展[17] - T-L数据集旨在建立触觉与人类认知的桥梁，例如支持开放式触觉常识推理的STOLA数据集[17] - T-V-L数据集是迎合大模型趋势的形态，如Touch100k包含超过10万个三模态对齐样本，支持跨模态对齐[17] - T-V-O数据集引入了动作、音频等其他模态，如ObjectFolder系列结合了撞击音频，OmniViTac加入了动作序列以支持端到端操作学习[17] 多模态融合方法的三大范式 - 算法研究被结构化为三个核心方向：多模态感知与识别、跨模态生成与转换、多模态交互与操作[18] - 多模态感知与识别包括：多模态物体识别、属性与材料识别、抓取成功/失败预测、跨模态检索与匹配[20] - 跨模态生成与转换包括：视-触双向生成、语言-触觉翻译（如触觉转语言Caption和极具挑战的文本生成触觉）[22] - 多模态交互与操作包括：多模态感知驱动的机器人操作（如精细装配）、语言指令下的多模态操作（融合大语言模型的VLA范式）[24][26] 触觉传感器硬件形态 - 触觉传感平台主要分为四类：可穿戴触觉系统、手持与指尖传感器、机器皮肤与多模态传感器贴片、夹爪安装与集成传感器[28][31] - 硬件设计直接影响信号质量，发展趋势是追求大面积可扩展性、机械顺应性、分布式感知以及紧凑的集成，以支持实时闭环控制[28][31] 领域面临的挑战与未来方向 - 领域面临四大核心挑战：数据碎片化与可扩展性瓶颈、模态不对齐与噪声干扰、软硬件集成壁垒、评估与基准的不一致性[32][35] - 现有数据集规模远小于视觉-语言资源，限制了基础模型的零样本迁移能力[32] - 缺乏统一的端到端基准来综合评估模型在实际物理交互中的性能[32][35] - 未来方向包括：构建统一且可扩展的大规模数据集、发展层次化融合算法、开发柔性耐用的仿生触觉皮肤、将触觉作为连续监督信号嵌入决策闭环[36]