自动驾驶系统测试现状 - 懂车帝测试显示目前量产自动驾驶系统的NOA功能在黑夜施工工地、高速公路前方车辆事故及障碍物后突然驶出车辆等高危场景中均无法完全避免事故[2] - 此类安全关键场景在真实道路中发生率低但潜在危害大 可能导致严重交通事故[3] - 提升系统可靠性需在多样化高风险场景中进行广泛测试 但现实采集难度极高[4][5] 仿真测试技术挑战 - 现有模拟器画面真实度不足 难以直接用于真实域下端到端系统的极限测试[6] - 安全关键车辆选择依赖简单启发式规则（如选择最近车辆） 缺乏场景关系理解易导致选错目标车辆[9] - 多视角视频生成模型因训练数据缺乏极端场景 在碰撞或近距离互动时生成质量显著下降[9] SafeMVDrive技术创新 - 首创面向真实域的多视角安全关键驾驶视频生成框架 结合VLM关键车辆选择器与两阶段轨迹生成[7] - 采用GRPO微调视觉语言模型 从多视角画面推理交通关系精准识别对抗车辆[10] - 双阶段轨迹生成：先生成符合物理规律的碰撞轨迹 再转化为接近碰撞但成功规避的轨迹[10][22] - 通过三类损失函数（对抗损失/无碰损失/在路损失）确保轨迹合理性与威胁性[22] 系统性能表现 - 碰撞率指标显著优于基线：Sample-level CR达0.097（Origin方法仅0.001） Scene-level CR达0.207（Origin仅0.004）[29] - 视频真实感指标FID为20.626 远优于Naive方法的23.346 更接近真实视频质量[29] - VLM车辆选择器精准度超传统方法：F1-score达0.675（最近车辆法仅0.654 基于规则法仅0.600）[33] - 支持生成加塞/急刹/后方突然加速等危险行为 并呈现自车规避动作[12] 技术实现路径 - 采用UniMLVG作为骨干网络 支持显式控制车辆运动轨迹并保持长时视频稳定[26] - 通过自回归滚动生成方式 将规避轨迹编码为逐帧控制信号（3D边界框/高清地图/相机参数）[26] - 首阶段碰撞轨迹模拟通过test-time loss guidance引导车辆发生有效碰撞[22] - 次阶段仅更新自车轨迹 以无碰损失和在路损失引导实现自然规避[22] 行业应用价值 - 实现高保真多视角安全关键视频批量生成 显著提升极端场景覆盖率[11][28] - 为端到端自动驾驶系统提供兼具真实性及危险性的极限压测数据[11][30] - 研究成果由浙江大学与哈工大（深圳）联合发布 获论文/代码/数据集全方位开源支持[7][9]