Workflow
惯性测量单元(IMU)
icon
搜索文档
清华大学最新综述!当下智能驾驶中多传感器融合如何发展?
自动驾驶之心· 2025-06-26 20:56
具身AI与多传感器融合感知的重要性 - 具身AI是以物理实体为载体,通过实时感知实现自主决策和行动能力的智能形式,在自动驾驶、机器人群体智能等领域有广泛应用,是突破AI发展瓶颈、实现通用人工智能(AGI)的关键路径 [2] - 传感器数据理解是连接物理世界与数字智能的核心环节,具身智能体需要融合视觉相机、毫米波雷达、激光雷达(LiDAR)、红外相机和IMU等多模态传感器数据以实现全景感知 [2] - 多传感器融合感知(MSFP)对实现具身AI的稳健感知和准确决策能力至关重要,例如视觉相机易受光照变化干扰,而激光雷达在雨雾天气性能会大幅衰减 [2] 现有研究的局限性 - 当前基于AI的MSFP方法在具身AI中面临跨模态数据的异质性使得特征空间难以统一的挑战 [3] - 不同传感器之间的时空异步可能导致融合误差,传感器故障(如镜头污染、信号遮挡)可能导致多模态信息的动态丢失 [3][4] - 现有综述大多面向单一任务或研究领域,如3D目标检测或自动驾驶,缺乏对多智能体融合、时间序列融合等MSFP方法多样性的考虑 [4] 传感器数据 - 相机数据可捕捉物体的颜色、形状和纹理等丰富外观特征,但对光照条件敏感,在夜间和恶劣天气下图像质量显著下降 [7] - 激光雷达(LiDAR)数据直接输出包含空间几何信息的高精度3D点云,在3D感知中具有独特优势,但对天气敏感且点云数据稀疏不均匀 [7] - 毫米波雷达数据在恶劣天气下性能良好,可直接测量物体速度,但点云更稀疏难以准确描述物体轮廓 [10] 数据集 - KITTI包含14,999张图像及相应点云,数据采集车辆配备两台灰度相机、两台彩色相机、一个Velodyne 64线LiDAR等设备 [13] - nuScenes包括700个训练场景、150个验证场景和150个测试场景,总计5.5小时,包含140万张相机图像、39万次LiDAR扫描 [13] - Waymo Open包括感知和运动数据集,感知数据集中的注释包括126万个3D边界框、118万个2D边界框 [14] 感知任务 - 目标检测是通过传感器获取的数据准确定位和识别各种类型的物体,在3D目标检测场景中需包括目标的3D位置坐标、尺寸信息和航向角 [16] - 语义分割任务旨在将场景中的每个基本单元分类为语义类别,分割模型需要为每个基本单元分配相应的语义标签或类别概率分布 [16] - 深度估计旨在从传感器数据中获取场景的深度信息,为具身智能体提供3D几何理解,对路径规划和决策控制等下游任务至关重要 [16] 多模态融合方法 - 点级融合方法实现LiDAR点云与图像数据在单个点级别的特征融合,通过集成点云的几何坐标信息与图像的语义细节提高多模态感知精度 [21] - 体素级融合方法将不规则的LiDAR点云转换为规则网格,在保留几何信息的同时实现高效处理,相机图像被集成到基于体素的方法中以获得更好的感知能力 [23] - 区域级融合方法侧重于从2D图像和其他模态聚合特定区域的信息,在模态之间的空间对齐更容易实现的场景中特别有效 [28] 多智能体融合方法 - 协作感知技术可以集成来自多个智能体和基础设施的感知数据,对解决遮挡和传感器故障问题至关重要 [34] - CoBEVT是第一个通用的多智能体多相机感知框架,通过稀疏Transformer生成BEV分割预测以进行协作处理 [34] - V2VNet引入了一个基于图神经网络的框架,用于融合来自多辆车的中间特征表示 [35] 时间序列融合 - 密集查询方法为高分辨率3D空间或BEV空间中的每个查询点分配固定的光栅化空间位置,BEVFormer通过可变形注意力机制实现多个相机视图中的自适应特征交互 [44] - 稀疏查询方法因其效率、准确性和适用于稀疏感知任务而在行业中越来越受欢迎,StreamPETR通过对象查询系统地在帧间传播长期信息 [47] - 混合查询方法结合密集和稀疏查询范式,以平衡计算效率和全面的场景理解,UniAD将感知、预测和规划集成在一个统一的框架中 [51] MM-LLM融合方法 - 视觉-语言方法结合视觉和文本数据进行语义对齐,X-Driver利用具有思维链推理和自回归建模的多模态大型语言模型实现卓越的闭环自动驾驶性能 [57] - 视觉-LiDAR-语言方法将点云特征与文本特征对齐,DriveMLM采用时间QFormer处理多视图图像,有效捕捉不同视角之间的时间动态和空间关系 [59] - MAPLM将3D LiDAR点云数据投影到BEV图像,并通过视觉编码器提取特征,使强大的视觉模型的使用成为可能 [60]
中海达(300177) - 300177中海达投资者关系管理信息20250515
2025-05-15 17:36
公司概况 - 公司专注高精度导航定位技术产业链,是国内领先、全球主流企业 [2] - 以高精度卫星导航定位技术为基础,融合多种技术,形成全方位产品布局,实现核心技术自主可控,构建完整技术链条 [3] - 形成精准时空感知装备、北斗高精度行业应用、智能驾驶与导航控制三大核心业务板块,能提供全产品线高精度定位产品和解决方案 [3] 业绩情况 - 2024 年度营业收入 1,219,549,535.51 元,同比增长约 2.80%;归属上市公司股东净利润 -12,449,794.70 元,同比增长 97.08% [3] - 2025 年一季度营业收入 151,988,324.18 元,同比增长约 30.60% [3] 智能驾驶车载类产品业务 - 为乘用汽车行业提供智能驾驶位置感知软硬件产品及综合解决方案 [4] - 2024 年智能驾驶车载高精度业务增长约 40% [4] - 多款产品在多家车企量产车型规模量产交付,截至 2024 年末,车载端软硬件产品获车企成功定点车型超 60 款 [4] - 与百度阿波罗、北京航迹等开展合作,提供产品及解决方案,近期获吉利下属子公司 IMU 硬件定点 [5] - 完成产品功能安全 D 等级能力建设,未来探索高精度定位技术在多领域融合应用 [5] 低空经济业务 - 通过无人机搭载仪器获取实景影像,提供航测软硬件整体解决方案,应用于多领域 [5] - 可实现网联载体高精度地图数据实时采集及更新,提供航路规划等技术服务 [5] - 未来探索高精度定位技术在低空领域等融合应用 [5] 机器人领域展望 - 惯性测量单元技术可延伸应用于机器人等多领域,未来探索高精度定位技术在工业机器人等领域融合应用 [6] 精准时空感知装备业务 - 面向多行业客户提供高精度定位装备及方案和时空信息获取处理服务 [6] - 推出创新性 RTK 产品和智能测绘全站仪系统,革新传统测绘模式,海外市场获认可 [6] - 打造无人船系统,为多领域提供装备和解决方案,助力项目建设 [7] - 打造 iFlow 系列 ADCP 声学多普勒流速剖面仪,获水利部认证,国内 ADCP 市场占有率领先 [7] - 形成机载和手持三维激光测量系统等产品,为多领域提供技术支撑 [7] - 向特种机构客户提供技术产品及解决方案 [7] - 二十多年研发积累,产品在多领域大量应用,获行业认可 [8]
中海达(300177) - 300177中海达投资者关系管理信息20250428
2025-04-28 17:36
会议基本信息 - 会议类别为业绩说明会,面向所有投资者 [2] - 时间为 2025 年 4 月 28 日下午 15:00 - 17:00,地点在全景网“投资者关系互动平台” [2] - 上市公司接待人员包括董事长廖定海、董事会秘书黄宏矩、财务总监曾家成、独立董事陈远志 [2] - 有 14 名投资者参与会议 [2] 业务发展方向 - 聚焦高精度导航定位产业,发展高精度定位装备及解决方案业务,探索在低空领域、工业机器人等行业的融合应用 [3][5] - 持续关注智能驾驶及智能网联、人工智能等行业需求与发展变化 [3][5] 技术与产品进展 - 掌握车规级惯导相关关键技术,惯性测量单元(IMU)可应用于多领域 [3] - 针对低空领域,可提供航测软硬件整体解决方案及相关技术服务,将多种射频通信技术应用于智能驾驶方案 [4] - 主营业务中高精度定位接收终端、光电产品、工业级激光雷达等产品基本实现全自主国产化,其他高精度装备加速国产化 [5] - 掌握工业级激光雷达、车规级惯导相关关键技术,将持续投入研发优化 [6] - 全面掌握多源融合定位技术,运用视觉语言模型(VLM)和视觉语言行动模型(VLA)技术拓展应用场景 [7] - 研发出灾害监测预警普适型设备,已在藏区试用并获认可,在全国二十多个省市自治区部署 [8] 市场与合作情况 - 在国际市场坚持人员本地化战略,通过海外子公司配置资源,已在 12 个国家设立分支机构,实现采购、物流、销售及全球技术服务本地化,未来加快国际业务布局 [5][9] - 与百度阿波罗、北京航迹合作,量产交付 5G + V2X 智能天线、高精度定位天线 [7] - 车载端产品已定点应用于小鹏、上汽等多家车企多款量产新车型,2024 年智能驾驶业务增长约 40%,目前车载端软硬件产品储备订单充足,在手订单量较去年同期增长超 100% [9] 业务调整与问题解决 - 对时空数据及信息化业务战略收缩,2024 年该类业务占比降至 13.79%,大力发展回款较好的高精度定位装备及解决方案业务 [6] - 成立专项小组催收应收账款,加大考核权重,加强应收过程管理 [6] 行业响应与布局 - 响应国家发展北斗应用号召,深化北斗精准位置技术在更多行业的应用,发展北斗高精度行业应用业务 [7][8]