文章核心观点 - 传统的模块化自动驾驶系统存在误差传递和泛化能力有限的问题，而单体端到端系统在应对罕见事件和预测他车意图方面能力不足，车联网（V2X）通信是克服这些局限性的关键技术 [1] - 提出的UniMM-V2X框架首次在多智能体端到端自动驾驶中实现了感知与预测的多级协同，并引入混合专家模型（MoE）架构，为不同任务动态定制特征，在感知、预测和规划任务上均达到当前最佳性能 [1][7] - 该框架通过多级融合与MoE的深度协同，为实现更安全、更具可解释性的协同自动驾驶提供了全新方案，并展现出在实际场景中部署的潜力 [1][25] 技术框架与核心特点 - 框架组成：UniMM-V2X由图像编码器、协同感知模块以及协同预测与规划模块三部分组成，感知与预测层面的融合构成了统一的多级融合框架 [8] - MoE架构应用：在BEV编码器和运动解码器中均部署了MoE架构，编码器为检测、跟踪、建图、运动预测等下游任务生成任务自适应的BEV特征，解码器通过针对特定运动的专家分支提升规划质量 [6][9][11] - 多层级融合机制： - 感知级融合：采用注意力机制建模智能体间查询关系，进行加权特征融合，克服了依赖固定距离阈值方法的局限性，实现了上下文感知和空间敏感性的特征融合 [12][14] - 预测级融合：通过旋转矩阵转换坐标，并利用注意力机制整合感知上下文，为复杂多智能体场景下的运动推理提供先验信息 [12][14] - 核心贡献：首次探索多智能体端到端自动驾驶中的多级协同；在编码器和解码器中均引入MoE以增强灵活性与专业化；通过实验验证了多级融合与MoE结合的强大互补效应 [7] 性能表现与实验结果 - 规划性能：在DAIR-V2X数据集上，UniMM-V2X实现了最低的平均L2误差（1.49米），优于所有基准模型，同时展现出卓越的安全性，3秒平均碰撞率仅为0.12% [15][16] - 感知性能：与最先进的端到端协同驾驶框架相比，在不增加感知层额外通信成本的前提下，检测性能（mAP）提升了39.7%，跟踪性能（AMOTA）提升了77.2% [17][18] - 预测性能：取得了最佳的运动预测性能，最小平均位移误差（minADE）为0.64米，最小最终位移误差（minFDE）为0.69米 [19][20] - 综合提升：该框架使检测性能提升39.7%，跟踪性能提升77.2%，运动预测误差降低7.2%，L2规划误差降低33.2%，碰撞率降低52.0% [7][25] 技术有效性分析 - 多级融合的作用：感知级融合提升了检测和跟踪性能，但对运动预测和规划影响有限；预测级融合通过提供补充运动线索增强了规划安全性；单层融合不足以优化所有驾驶任务，多级融合确保了高质量中间特征的传播，实现了所有模块的性能提升 [22] - MoE架构的作用：仅在BEV编码器中集成MoE增强了环境理解能力，提升了单车感知和规划性能；仅在运动解码器中使用MoE收益有限；当MoE同时应用于编码器和解码器时取得最佳结果，此时编码器产生任务感知特征，解码器利用专家专业化能力捕捉复杂运动行为 [22] - 消融实验证明：多层级融合与MoE设计的结合对驾驶性能提升有效，表4详细展示了不同配置下的性能对比 [23] 系统实用性与部署潜力 - 通信效率：与消耗大量带宽的BEV特征传输方法不同，该框架在不牺牲规划质量的前提下，将通信成本大幅降低了87.9倍 [24] - 运行效率：UniMM-V2X达到了5.4 FPS的帧率，集成MoE和多级融合机制导致速度轻微下降，但相对于规划安全性和可靠性的显著提升，成本效益比极佳 [24] - 环境适应性：在不同带宽条件下均表现良好，能够有效利用可用通信带宽进行协同规划，确保了在真实世界自动驾驶场景下的可靠性和可扩展性 [24][27] - 部署前景：该框架在不同带宽约束下展现出了可靠性，突显了其在现实世界协同驾驶中的实际部署潜力，为多智能体协同驾驶的未来提供了一条清晰的技术路线 [25]