文章核心观点 - 传统自动驾驶视觉语言模型在复杂真实路况中存在三维感知能力不足、语义融合有限、关键信息提取效率低等瓶颈，需要从“图像理解”向“场景理解”进行范式转换 [2][3] - 研究提出的MMDrive模型通过融合多模态信息、引入文本导向的多模态调制器和跨模态抽象器，构建了更立体、更智能的场景理解能力，在权威基准测试中性能领先，尤其在复杂和低能见度场景中表现出更强的鲁棒性 [5][8][30] - 该技术框架为自动驾驶高阶感知、仿真测试、智能交通及驾驶辅助等应用提供了新的可能性，代表了行业技术发展的一个重要方向 [31] 传统方法的局限性 - 主流自动驾驶视觉语言模型采用“图像+文本”双分支架构，视觉与文本特征仅进行硬拼接，缺乏深度交互，限制了跨模态语义对齐 [3] - 模型基于二维图像，难以表达深度、空间布局等关键三维信息，在遮挡、恶劣天气等复杂动态环境中关键信息提取效率低 [3][5] - 仅依靠前向摄像头图像，在遮挡等情况下无法准确判断场景全貌（如后方车辆状态），揭示了平面视觉感知的固有缺陷 [5] MMDrive的核心技术突破 - **多模态信息融合**：模型引入了三类互补信息源——提供稠密三维空间结构的占据栅格地图、提供精确几何与深度信息的激光雷达点云，以及通过两阶段策略生成的高层语义文本场景描述，共同构建立体场景表征 [12][15] - **文本导向的多模态调制器**：该组件能根据输入文本问题的语义内容，动态调整不同模态信息的融合权重，实现问题感知的自适应特征融合，避免信息稀释 [17][20] - **跨模态抽象器**：该组件通过学习一组“抽象令牌”来提取跨模态的关键信息，形成紧凑的语义摘要，使大语言模型能更高效地聚焦核心内容，实验表明16个抽象令牌是性能最佳配置 [21] 实验结果与性能表现 - **定量结果领先**：在DriveLM基准测试中，MMDrive在BLEU-4、METEOR、ROUGE-L、CIDEr四项指标上分别达到54.56、41.78、75.27和3.63，全面超越对比模型 [22] - **细分任务优势明显**：在NuScenes-QA基准测试中，MMDrive在计数、状态查询、比较类问题上表现突出，其整体准确率达到62.7，显著高于其他对比方法 [24] - **定性结果稳健**：在夜间、雨天等低能见度场景中，模型仍能保持较高的判断准确率，并能识别传统方法易忽略的细节（如与背景颜色相近的标志牌、远处小型物体） [26][30] 应用前景与未来展望 - **自动驾驶系统**：可作为高阶感知模块，用于复杂路口理解、施工区识别和异常事件判断，并为预测与规划模块提供丰富的语义场景表示 [31] - **仿真与测试**：可用于生成高质量场景描述以测试系统语义理解能力，并支持多模态问答用于驾驶员行为分析与系统评估 [31] - **智能交通与车路协同**：通过车路多模态信息融合提升全域交通态势感知，支持自然语言交互的交通指挥与调度系统 [31] - **驾驶教育与辅助**：为驾考模拟与危险场景教学提供可解释的问答支持，增强ADAS系统的交互能力 [31] - **技术演进方向**：未来研究将围绕长时序预测与协同规划、模型轻量化以适应车载部署，以及生成可解释的决策推理链条展开 [31]