Prune2Drive框架

搜索文档
告别高耗时!上交Prune2Drive:自动驾驶VLM裁剪利器,加速6倍性能保持
自动驾驶之心· 2025-08-29 07:32
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 今天自动驾驶之心为大家分享 上海交大& 上海AI Lab 最新的工作! Prune2Drive框架,剪枝90%视觉token实现6.4倍加速,性能仅降 3%。 如果您有相关工作需要分享,请在文末联系我们! 自动驾驶课程学习与 技术交流群加入 ,也欢迎添加小助理微信AIDriver005 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 论文作者 | Minhao Xiong等 编辑 | 自动驾驶之心 研究背景与挑战 1.1 自动驾驶中VLMs的价值与瓶颈 视觉语言模型(VLMs)为自动驾驶(AD)提供了统一的感知、推理与决策框架——通过联合建模视觉输入与自然语言指令,VLMs能实现可解释性更强的场景理 解(如检测、预测、规划),且端到端设计可缓解传统模块化系统的误差传播问题。 但VLMs在真实驾驶场景的部署面临核心障碍: 多视图高分辨率图像带来的巨大计算开销 。自动驾驶系统通常采用6个(前、前左、前右、后、后左、后右)同步 相机实现全环境感知,这些图像经视觉编码器会生成大量视觉token;而Transfor ...