大规模预训练点云模型

搜索文档
TrackAny3D:一个模型通吃所有3D单目标跟踪!
自动驾驶之心· 2025-09-08 07:34
核心观点 - TrackAny3D首次将大规模预训练3D点云模型迁移至单目标跟踪任务 通过轻量适配器与几何专家混合网络实现无需类别微调即可统一处理汽车、行人、自行车等多类目标[3] 在KITTI、NuScenes、Waymo数据集上刷新类别统一设定的最佳性能[3][27][28][30] 方法设计 - 采用轻量级双路径适配器动态对齐预训练特征与跟踪任务 保留几何先验并提升学习效率[10][16] - 引入几何专家混合模块(MoGE) 由多个专家子网络根据物体几何特性自适应激活 解决跨类别几何冲突[10][19] - 设计时间上下文优化策略 通过可学习时间令牌传播历史状态 结合动态掩码权重机制校准输入信息[10][22][24][25] 实验结果 - 在KITTI数据集上平均成功率为67.1% 精确率为85.4% 超越所有类别统一方法[27] - 在NuScenes数据集上平均成功率为54.57% 精确率为66.25% 其中Bus类别成功率61.01%超越单类别模型[28][29] - 在Waymo数据集Vehicle类别上平均成功率达64.0% 精确率达73.3% 直接使用KITTI训练模型即实现最佳泛化性能[30][31] 技术优势 - 仅需5.30M参数 推理速度28FPS 在计算效率与性能间取得平衡[27] - 通过预训练模型迁移解决传统方法需为每类别独立训练模型的问题 降低部署成本[8][9] - 动态掩码加权机制无需手动调节超参数 自适应处理不同类别时空变化[25]