多模态融合与视觉语言模型综述 - 文章系统综述了多模态融合和视觉语言模型在机器人视觉中的应用 涵盖语义场景理解 三维目标检测 SLAM 具身导航和操作控制等任务[4] - 比较了传统方法与新兴大模型方法的优缺点 并分析相关数据集与基准测试[4] - 提出未来发展方向包括跨模态自监督学习 轻量化融合架构 Transformer驱动的统一范式以及真实环境中的高效部署策略[4] 多模态融合在机器人视觉任务中的应用 - 多模态融合整合RGB图像 深度信息 LiDAR点云 语言 触觉与位置信息 提升机器人感知全面性[3] - 主流融合策略分为早期融合 中期融合和后期融合三类[12] - 现代多模态模型在统一架构中完成特征提取 模态交互和任务预测 减少阶段设计麻烦并使信息交换更顺畅[10] 语义场景理解 - 涉及物体识别 语义分割和关系建模 仅靠RGB图像在复杂环境下易受光照变化 物体遮挡和多目标重叠影响[9] - 多模态融合通过引入深度 LiDAR 语言等额外信息大幅提升场景理解的准确性和鲁棒性[9] - 主流实现路径包括编码器-解码器架构 基于注意力的Transformer和图神经网络方法[12] 三维目标检测 - 自动驾驶系统中关键感知任务 准确识别并定位行人 车辆和障碍物[15] - 单一传感器各有短板 相机能捕捉纹理和颜色但缺乏深度信息 LiDAR提供精准空间几何结构但看不懂语义和纹理[15] - 多模态融合设计需解决何时融合 融合什么和如何融合三个核心问题[16] 方法演进 - 从早期依赖直接拼接或统计操作 演化出点级 体素级 区域级融合策略 到Transformer引入实现智能交互[19] - 代表性方法包括PointPainting和TransFusion 前者对图像做语义分割并涂到点云上 后者用Transformer解码器建模跨模态依赖[21] - 探索雷达-相机和雷达-LiDAR融合 雷达优势在于直接测量速度且在恶劣天气中稳定[20] 具身导航 - 核心思想是让机器人像真的身处环境中一样去探索 感知和行动 强调自主决策与动态适应能力[23] - 分为目标导向导航 指令跟随导航和基于对话的导航三类 从感知驱动到语言理解再到交互感知演进[23] - 基于对话的导航中机器人能够主动发问 实时交互 提升任务灵活性 特别适合长时序 多步骤复杂任务[27] 视觉定位与SLAM - 视觉定位在光照变化 遮挡严重 环境动态频繁场景中是大难题 多模态融合思路推进问题解决[28] - 自监督学习通过光度一致性和几何一致性物理约束进行学习 不依赖人工标注[28] - SLAM从单打独斗变成抱团取暖 通过融合LiDAR 相机 IMU GPS 雷达等多源信息提升系统稳定性[33] 视觉-语言-动作模型 - 结合视觉感知 语言理解和动作规划 让机器人基于多源信息主动决策和执行[35] - 核心思路是从视觉模态获取世界状态 通过语言模态理解任务语义 将多模态信息融合到统一表示再映射成动作序列[36] - 代表性方法包括RT-2 RoboMamba 3D-VLA OpenVLA DeeR-VLA和VoxPoser[38] 视觉与触觉融合 - 视觉负责提供全局信息如物体位置 形态和姿态 触觉提供局部反馈如接触力 摩擦和滑动[40] - 在抓取生成阶段 视觉帮助确定空间姿态和位置 触觉补充表面特性和受力信息用于选择最优抓取点[41] - 抓取稳定性预测中 视觉-触觉融合展现巨大优势 让机器人从只会抓升级为会思考怎么抓[44] 视觉语言模型演进 - 预训练几乎是整个系统起点 通过大规模图像-文本数据联合训练学会视觉与语言间深层语义关联[49] - 跨模态对齐是关键 需在不同模态间建立精确对应关系 主流方法分为对比学习 自监督学习和跨模态生成三类[51] - 自2022年以来VLM发展迅速 从Flamingo PaLM-E到MiniGPT-4 LLaVA 再到Gemini Llama-3.2 多模态范围扩展到图像 文本 音频甚至跨语言[52] 核心创新点 - 大规模图文预训练先喂饱模型海量图文对 为跨模态推理打下坚实基础[53] - 指令微调用自然语言告诉模型需求 学会举一反三甚至猜未说出口需求[53] - 结构优化采用MoE专家混合和稀疏注意力等黑科技 在提升性能同时节省算力[53] 结论与未来方向 - 跨模态对齐策略决定机器人感知能力上限 但不同模态间语义粒度差异和特征对不上号仍是硬伤[57] - 在算力有限机器人平台部署大规模VLM需靠轻量化与多阶段自适应机制精打细算[57] - 未来研究可重点关注引入结构化空间建模和记忆机制 提升系统可解释性与伦理适应性 发展具备长期学习能力的认知型VLM架构[57]