Workflow
全面超越DiffusionDrive!中科大GMF-Drive:全球首个Mamba端到端SOTA方案
自动驾驶之心·2025-08-14 07:33

端到端自动驾驶框架GMF-Drive - 突破Transformer瓶颈,提出门控Mamba融合+空间感知BEV的端到端自动驾驶框架,通过几何增强柱状表示和空间感知状态空间模型实现高效多模态融合 [7][13][16] - 包含三个核心模块:数据预处理模块(14维柱状表示保留3D几何信息)、感知模块(GM-Fusion实现线性复杂度空间建模)、轨迹规划模块(截断扩散策略生成轨迹) [13][19][22] - 在NAVSIM基准测试中PDMS得分88.9,较DiffusionDrive提升0.8分,关键子指标DAC和EP分别达到97.3和83.3 [32][33] 多模态融合技术演进 - 当前主流方法采用TransFuser风格架构,直接拼接图像与LiDAR特征并通过自注意力处理,存在信息损失和缺乏空间感知两大缺陷 [3][5][6] - 多模态融合方法分为三类:早期融合(原始数据层)、后期融合(决策层)、中期融合(特征层),当前以Transformer为核心的中期融合为主流但计算量大 [10][11][14] - 行业趋势从早期CNN方法演进到多模态系统,关键里程碑包括BEV表示(TransFuser)、多任务整合(UniAD)、向量化表示(VAD)和稀疏表示(SparseDrive) [8][11] 技术创新点 - 几何增强柱状表示:14维特征包含点特征池化结果和统计特征(反射强度均值方差、PCA几何描述符),保留传统方法丢失的3D几何信息 [19][20] - GM-Fusion模块:整合门控通道注意力(特征对齐)、BEV-SSM(方向感知+双扫描模式空间建模)、分层可变形跨注意力(多尺度特征查询) [22][24][25] - 空间感知机制:自车中心极坐标编码实现维度交错,双扫描模式(光栅扫描+Z字扫描)结合距离衰减机制优化空间依赖建模 [24][25][26][27] 性能验证 - 定量比较:在相同ResNet-34主干和传感器输入条件下,PDMS得分88.9超越所有对比方法,DAC指标97.3显示精细空间特征提升场景理解能力 [32][33] - 消融实验:完整系统组件使PDMS提升0.75分,其中14维柱状表示贡献0.24分,GM-Fusion模块贡献0.74分,验证数据表示与架构设计的协同重要性 [37][38][39] - 融合架构对比:HCA+BEV-SSM配置PDMS达88.69,证明针对BEV优化的扫描模式与空间先验比通用序列模型(C-EffiMamba)更有效 [41][42]