具身AI与多传感器融合感知的重要性 - 具身AI是以物理实体为载体，通过实时感知实现自主决策和行动能力的智能形式，在自动驾驶、机器人群体智能等领域有广泛应用，是突破AI发展瓶颈、实现通用人工智能（AGI）的关键路径 [2] - 传感器数据理解是连接物理世界与数字智能的核心环节，具身智能体需要融合视觉相机、毫米波雷达、激光雷达（LiDAR）、红外相机和IMU等多模态传感器数据以实现全景感知 [2] - 多传感器融合感知（MSFP）对实现具身AI的稳健感知和准确决策能力至关重要，例如视觉相机易受光照变化干扰，而激光雷达在雨雾天气性能会大幅衰减 [2] 现有研究的局限性 - 当前基于AI的MSFP方法在具身AI中面临跨模态数据的异质性使得特征空间难以统一的挑战 [3] - 不同传感器之间的时空异步可能导致融合误差，传感器故障（如镜头污染、信号遮挡）可能导致多模态信息的动态丢失 [3][4] - 现有综述大多面向单一任务或研究领域，如3D目标检测或自动驾驶，缺乏对多智能体融合、时间序列融合等MSFP方法多样性的考虑 [4] 传感器数据 - 相机数据可捕捉物体的颜色、形状和纹理等丰富外观特征，但对光照条件敏感，在夜间和恶劣天气下图像质量显著下降 [7] - 激光雷达（LiDAR）数据直接输出包含空间几何信息的高精度3D点云，在3D感知中具有独特优势，但对天气敏感且点云数据稀疏不均匀 [7] - 毫米波雷达数据在恶劣天气下性能良好，可直接测量物体速度，但点云更稀疏难以准确描述物体轮廓 [10] 数据集 - KITTI包含14,999张图像及相应点云，数据采集车辆配备两台灰度相机、两台彩色相机、一个Velodyne 64线LiDAR等设备 [13] - nuScenes包括700个训练场景、150个验证场景和150个测试场景，总计5.5小时，包含140万张相机图像、39万次LiDAR扫描 [13] - Waymo Open包括感知和运动数据集，感知数据集中的注释包括126万个3D边界框、118万个2D边界框 [14] 感知任务 - 目标检测是通过传感器获取的数据准确定位和识别各种类型的物体，在3D目标检测场景中需包括目标的3D位置坐标、尺寸信息和航向角 [16] - 语义分割任务旨在将场景中的每个基本单元分类为语义类别，分割模型需要为每个基本单元分配相应的语义标签或类别概率分布 [16] - 深度估计旨在从传感器数据中获取场景的深度信息，为具身智能体提供3D几何理解，对路径规划和决策控制等下游任务至关重要 [16] 多模态融合方法 - 点级融合方法实现LiDAR点云与图像数据在单个点级别的特征融合，通过集成点云的几何坐标信息与图像的语义细节提高多模态感知精度 [21] - 体素级融合方法将不规则的LiDAR点云转换为规则网格，在保留几何信息的同时实现高效处理，相机图像被集成到基于体素的方法中以获得更好的感知能力 [23] - 区域级融合方法侧重于从2D图像和其他模态聚合特定区域的信息，在模态之间的空间对齐更容易实现的场景中特别有效 [28] 多智能体融合方法 - 协作感知技术可以集成来自多个智能体和基础设施的感知数据，对解决遮挡和传感器故障问题至关重要 [34] - CoBEVT是第一个通用的多智能体多相机感知框架，通过稀疏Transformer生成BEV分割预测以进行协作处理 [34] - V2VNet引入了一个基于图神经网络的框架，用于融合来自多辆车的中间特征表示 [35] 时间序列融合 - 密集查询方法为高分辨率3D空间或BEV空间中的每个查询点分配固定的光栅化空间位置，BEVFormer通过可变形注意力机制实现多个相机视图中的自适应特征交互 [44] - 稀疏查询方法因其效率、准确性和适用于稀疏感知任务而在行业中越来越受欢迎，StreamPETR通过对象查询系统地在帧间传播长期信息 [47] - 混合查询方法结合密集和稀疏查询范式，以平衡计算效率和全面的场景理解，UniAD将感知、预测和规划集成在一个统一的框架中 [51] MM-LLM融合方法 - 视觉-语言方法结合视觉和文本数据进行语义对齐，X-Driver利用具有思维链推理和自回归建模的多模态大型语言模型实现卓越的闭环自动驾驶性能 [57] - 视觉-LiDAR-语言方法将点云特征与文本特征对齐，DriveMLM采用时间QFormer处理多视图图像，有效捕捉不同视角之间的时间动态和空间关系 [59] - MAPLM将3D LiDAR点云数据投影到BEV图像，并通过视觉编码器提取特征，使强大的视觉模型的使用成为可能 [60]

大熊猫国家公园白水江园区调查 - 大熊猫国家公园白水江园区占地18万公顷 是连接陕西和四川的重要生态廊道 [8] - 园区采用多种科技手段开展野生大熊猫等兽类野外调查 包括空气环境DNA和水样环境DNA技术 [3] - 工作人员设计334条兽类调查线路和87条大熊猫固定监测线路 [6] 调查方法与技术 - 首次采用空气环境DNA和水样环境DNA技术 对空气中和水源中留存的动物遗传信息进行收集 [3] - 通过粪便DNA靶向技术、咬节法和红外相机相结合的方式 更精准锁定大熊猫种群分布 [5] - 构建"空天地"一体化监测体系 提高监测的准确性和时效性 [6] 调查发现 - 大熊猫驯养繁殖中心是白水江园区大熊猫密度最高的区域之一 工作人员在调查线路上发现野生大熊猫粪便 [5] - 随着野外调查次数增多 发现更多有意思的野生大熊猫画面 [6] - 样本足够多时可判定大熊猫的性别、健康程度、不同个体间的亲缘关系 [5]

尕海湿地保护工作 - 尕海湿地位于甘肃省甘南州碌曲县，是甘肃尕海则岔国家级自然保护区的重要组成部分 [1] - 保护站布设近80台红外相机用于监测雪豹、岩羊等野生动物活动轨迹 [1] - 每年5月和10月回收红外相机视频画面，为监测提供数据支持 [1] - 工作人员需攀登海拔4000多米的尕秀石山进行设备维护 [1][2] 野外监测作业细节 - 监测点分布在海拔3700米至4200米之间的裸岩区域 [2] - 海拔3600米以上路段车辆需安装防滑链，部分区域需徒步前进 [2] - 单日可回收17处红外相机的存储卡 [6] - 作业内容包括更换存储卡/电池、记录生境类型及受干扰情况 [4] 保护成效与物种记录 - 保护区栖息354种野生动物，含19种国家一级保护动物和66种二级保护动物 [20] - 红外相机最新记录物种包括： - 岩羊（国家二级，日食2-3千克植物） [10] - 高山兀鹫（国家二级，食腐猛禽） [12] - 雪豹（国家一级，栖息3000米以上山地） [13] - 狼（国家二级，群居猎食） [15] - 荒漠猫/狍/藏雪鸡等 [17] 工作人员长期贡献 - 保护站团队在高海拔环境下坚守近10年 [7] - 副站长仁欠表示生态改善（如草原植被恢复）是最大工作成就 [9] - 视频资料分析中发现新物种记录会带来强烈成就感 [9][10]

候鸟繁育情况 - 尕海湿地迎来候鸟繁育高峰期，黑颈鹤成双成对准备产卵，鸬鹚已开始孵化幼鸟[1][3] - 当前尕海湖繁育鸟类达80多种，预计7月数量超3万只[5] - 黑颈鹤为国家一级保护动物，红外相机首次记录其孵化全过程，包括育雏行为[14][16] 保护措施与监测技术 - 保护站加强巡查频次，重点区域专人看护[5] - 浮岛安装红外相机需遵循"轻"（避免浮岛下沉）和"快"（10分钟内完成防弃巢）原则[8] - 为斑头雁制作直径40厘米、高20-40厘米的人工鸟巢，孵化成功率显著提升[13] - 鸬鹚利用人工鸟巢搭建"小二楼"式巢穴，安全系数提高[13] 野生动物监测体系 - 保护站布设近80台红外相机，覆盖海拔3700-4200米区域，监测雪豹、岩羊等物种[17][19] - 每年5月、10月回收相机数据，记录生境类型及干扰情况[17][21] - 工作人员需徒步高海拔裸岩区，单日最多回收17处相机数据[19][21][23] 生态保护成果 - 保护区生物种类逐年增长，现存野生动物354种[24] - 包含国家一级保护动物19种（如雪豹）、二级保护动物66种[24]

中华穿山甲保护现状 - 中华穿山甲在广东肇庆鼎湖山国家级自然保护区有稳定种群 [1] - 2018年首次通过红外相机捕捉到消失30余年的中华穿山甲活动影像 [3] - 中华穿山甲2014年被列为极危物种 2020年升级为中国国家一级保护野生动物 [5] 鼎湖山自然保护区生态价值 - 保护区面积11 33平方公里 保存近400年历史的南亚热带季风常绿阔叶林等8种森林植被类型 [3] - 每平方公里发现17 8个新物种 以鼎湖山模式标本命名的物种达202种 [3] - 一只中华穿山甲可有效控制350亩森林的蚁群数量 被称为"森林卫士" [5] 保护技术与国际合作 - 运用红外相机 无人机 人工智能等技术开展生态监测与保护 [5] - 1988年起与20多个国家科研机构合作 成为全球生态学家"观测实验室" [6] - "森林生态系统碳汇模型"被纳入联合国气候变化评估报告 [7] 科研平台建设 - 华南国家植物园标本馆致力于建成国际一流战略生物资源库 [9] - 参与编制《全球植物保护战略(2023-2030)》 分享中国植物保护经验 [6] - 目标为全球生物多样性保护提供科技支撑 贡献中国智慧 [9]