协同3D多目标跟踪

搜索文档
清华提出CoopTrack:端到端协同跟踪新方案(ICCV'25 Highlight)
自动驾驶之心· 2025-07-28 18:41
核心观点 - 协同感知通过多智能体信息交换克服单智能体自动驾驶系统的局限 但以往研究集中于单帧感知 协同序列感知任务如协同3D多目标跟踪尚未充分探索[2] - 清华与香港理工团队提出CoopTrack框架 其核心特点是可学习的实例关联 通过传输稀疏实例级特征显著提升感知能力同时保持低通信开销[2] - CoopTrack在V2X-Seq数据集上达到SOTA水平 mAP和AMOTA分别达到39.0%和32.8%[2] 核心创新点 - 提出首个面向协同3D多目标跟踪的全实例级端到端框架CoopTrack 将协同感知与序列跟踪任务统一建模 避免传统检测后跟踪范式的信息割裂问题[6] - 引入基于图注意力机制的可学习关联模块 通过学习跨智能体实例特征间相似性生成亲和力矩阵 实现更鲁棒自适应的关联[6] 算法核心概述 - 采用解码后融合新范式 流程为各智能体先独立解码生成初步查询 然后通过可学习模块进行跨智能体关联 最后对齐并聚合特征 避免特征融合阶段的歧义和冲突[9] - 设计多维特征提取模块 将实例表征解耦为语义特征和运动特征 语义特征由查询特征通过MLP提取 运动特征通过PointNet从3D边界框角点坐标提取[9] - 核心流程包含多维特征提取 跨智能体对齐 图注意力关联和特征聚合与解码四个步骤 其中跨智能体对齐模块通过隐空间线性变换解决不同智能体间的特征域鸿沟[13][17] 主要实验结果 - 在通信开销方面 CoopTrack传输成本为1.17×105 显著低于Early Fusion的3.11×108和UniV2X的5.58×104[15] - 随着智能体数量增加 CoopTrack性能持续提升 当智能体数量为4时 mAP达到0.356 AMOTA达到0.346[19]