点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>直播和内容获取转到 → 自动驾驶之心知识星球 点击按钮预约直播 李弘扬老师团队的新工作 - SimScale，中科院、港大OpenDriveLab和小米汽车联合完成。 近年来，大模型领域背靠 Data Scaling 取得了前所未有的突破，但到了自动驾驶，这套方法却突然失灵了。不是因为模型不够大，而是现实世界根本给 不了足够多的关键场景。 现实道路中的绝大多数驾驶片段都是重复而安全的"常态行为"，真正决定策略能力上限的高风险、长尾、极端场景却往 往难以遇见，更难以大规模收集。因此自动驾驶不是缺数据，而是缺"对的"数据，行业亟需一种能系统性生成大量关键 场景、并规模化训练的新路径。 针对这些问题，SimScale应运而生，SimScale探索了在scalable的3DGS交互式仿真下，生成reward、recovery等多种数据， 进行联合训练以最大化现有训练数据的利用效率。 最终在NavSim leaderboard 上取得了新的 SOTA，并在多类主流 E2E planner 上带来了显著提升！ 今天自 ...

文章核心观点 - 由香港大学OpenDriveLab、中科院自动化所、小米汽车联合团队提出的SimScale方案，通过真实世界仿真生成关键场景与协同训练策略，为解决自动驾驶数据瓶颈提供了新路径[1][2] - 该方案的核心在于揭示了自动驾驶仿真数据的规模效应，证明无需增加真实数据，仅通过扩大仿真数量即可持续提升各类端到端驾驶模型的性能上限[3][39][40] 自动驾驶数据瓶颈与SimScale的提出 - 当前自动驾驶面临数据瓶颈，现实世界难以提供足够的关键与长尾场景，采集的数据多为价值有限的常态片段，导致数据越多、性能提升越难[5] - 行业瓶颈不在于数据规模，而在于缺乏能系统生成关键场景并支撑大规模训练的新方法[6] - SimScale应运而生，旨在通过“无限扩张世界”的仿真生成框架和虚实协同训练策略，突破上述瓶颈[7] SimScale系统架构与核心功能 - SimScale是一个可扩展的仿真生成框架，通过高保真神经渲染自动制造多样化的反应式交通场景与伪专家示范[8] - 它也是一套让仿真与真实数据“相互增益”的训练策略，能全面提升端到端模型的鲁棒性与泛化性[9] - 该系统首次系统揭示了自动驾驶仿真数据的规模效益，并提供了实践手册[10] 可扩展仿真生成框架的技术细节 - 框架采用“干扰-规划”策略实现规模化数据生成，需要同时包含合成图像和专家示范轨迹以有效训练模型[12] - 高保真神经渲染引擎基于3D高斯泼溅重建真实场景资产，能渲染多视角RGB视频，并分别建模背景与动态车辆以保留真实细节[14][15] - 通过轨迹扰动与状态探索，在真实轨迹上施加合理扰动，生成现实中难以遇见的关键场景（如偏离车道、逼近障碍物），系统性扩展策略的可见状态空间[17] - 设计了两类互补的伪专家策略为模型提供监督：基于恢复的策略（偏保守，提供安全底线示范）和基于规划的策略（更灵活，探索性强）[20][21] - 引入了反馈式多样场景模拟，使周围交通参与者具备反应能力，从而生成更接近真实驾驶的可扩展场景分布[23][24] 虚实互补的协同训练策略 - SimScale提供了一套仿真-真实数据协同训练策略，使模型既能保留真实驾驶分布，又能避免仿真瑕疵导致的性能下降[25] - 该策略可适用于各类端到端规划模型，包括回归型、扩散型及轨迹评分型规划器[26] - 对于依赖专家示范的规划器，仿真伪专家轨迹可提供可靠监督；对于奖励驱动的规划器，仿真数据可直接用于优化策略，实现利用效率最大化[26] - 实际应用中，仿真专门生成四类易触发模型失效的关键场景：偏离车道、近距离失碰、车道脱出与加塞切入，以帮助模型学习纠偏与避险能力[26] 模型性能提升的实验验证 - 在评估模型在未见极端场景下应对能力的navhard基准测试中，所有类型端到端规划器的性能均有大幅增强，最多可提升6.8 EPDMS，其中基础性能较弱的规划器性能提升超过20%[29][30] - 在评估模型在多样化挑战性场景下可靠性的navtest基准测试中，所有类型规划器的性能也有明显增强，最多可提升2.9 EPDMS[30][31] - 通过对轨迹评分规划器进行多专家集成，SimScale在NAVSIMv2官方排行榜上取得了第一名的成绩[31][33] 仿真数据的规模效应核心发现 - SimScale首次系统揭示了仿真数据对端到端规划模型性能的规模效应，通过建模总数据量与模型表现的关系，展示了在真实数据固定时，增加仿真数据能持续提升模型表现[34] - 核心发现一：探索型伪专家（规划型）比恢复型伪专家更为高效，因其能探索更广状态空间，生成更多可行解，从而充分发挥仿真数据价值[36] - 核心发现二：多模态建模（如扩散型模型）能更好地捕捉行为多样性，随仿真数据增加表现持续提升，激发了数据扩展能力[36] - 核心发现三：对于评分型规划器，仅使用奖励信号即可在仿真中取得优异表现，无需伪专家轨迹，说明奖励引导能充分发挥仿真数据价值[36] - 进一步实验表明，无论真实数据规模大小，仿真数据带来的性能提升始终显著且稳定，没有出现“收益饱和”现象，表明SimScale能在不同数据规模下持续放大系统性能[38][39]

文章核心观点 - 自动驾驶行业面临的核心瓶颈并非数据总量不足，而是缺乏足够多的高风险、长尾、极端等“关键场景”数据，导致模型性能难以持续提升 [2] - 由中科院、港大OpenDriveLab和小米汽车联合完成的SimScale研究，提出了一种通过可扩展的3D高斯Splatting仿真生成关键场景并与真实数据协同训练的新路径 [2] - 该方法首次揭示了自动驾驶仿真数据的规模效应：在固定真实数据量的前提下，仅通过扩大仿真数据规模，就能持续提升端到端驾驶模型的性能上限 [2][4] - 在真实世界基准测试中，该方法显著提升了多种规划器的性能，例如在navhard数据集上EPDMS指标最高提升6.8分，在navtest数据集上最高提升2.9分 [4][44] 背景与问题 - 大模型在其他领域的成功依赖于数据规模效应，但自动驾驶领域此方法失灵，原因是现实道路数据中安全“常态行为”占绝大多数，关键场景难以大规模收集 [2] - 仅依靠扩展真实世界驾驶数据效率低下，因为人类专家演示数据中复杂、安全关键场景代表性不足，且训练出的规划器难以泛化到罕见或未见场景 [7] - 行业亟需一种能系统性生成大量关键场景、并规模化训练的新路径，以解决数据分布偏移和因果混淆问题 [2][7] SimScale方法概述 - 核心框架包含一个可扩展的仿真数据生成流程和一个有效的虚实协同训练策略 [11] - 采用基于3D高斯Splatting的高保真神经渲染技术构建仿真数据引擎，能够生成可控的多视角视频观测数据 [13][15] - 设计了伪专家场景仿真流水线：通过对自车轨迹进行多样化扰动采样，生成分布外状态，并配套生成伪专家轨迹作为动作监督 [8][17] - 提出了两种伪专家策略进行对比：引导策略回归人类轨迹分布的“恢复式专家”和能生成优化、探索性轨迹的“规划器式专家” [20][23] - 采用简单的虚实协同训练策略，从真实数据集和仿真数据集的混合集中随机采样，以保留人类驾驶分布并减轻视觉域退化 [24] 实验结果与关键发现 - **排行榜表现**：在navhard基准测试中，采用SimScale协同训练的GTRS-Dense模型取得了47.2的得分，创下该基准的最新最优性能 [31] - **性能提升**：所有测试模型在两个基准上均表现提升，性能较弱的基线模型获益最明显，性能提升超过20% [31] - **规模效应**：实验首次系统揭示了仿真数据的规模效益，在固定真实数据量的情况下，仅增加仿真数据量就能实现策略性能的平稳提升 [4][33] - **伪专家的探索性**：对于所有规划器，“规划器式专家”策略下的数据缩放曲线和最终性能均优于“恢复式专家”，凸显了伪专家探索性行为对提升仿真数据价值的重要性 [36] - **多模态建模的优势**：扩散模型类规划器相比回归类规划器，在仿真数据扩展中表现出更近似线性的性能提升，证明了多模态建模能力对于处理多样化监督和可扩展自动驾驶的重要性 [38] - **奖励信号的效用**：对于基于词汇评分的规划器，仅使用仿真数据中的奖励信号而无需专家轨迹，就能实现更优的性能，表明在稳定优化方向的前提下，奖励引导能发挥更好效果 [39] - **反应式仿真的价值**：与非反应式仿真相比，引入反应式交互的仿真数据虽然有效样本数更少，但能带来持续且显著的性能提升，证明了交通交互的真实性和多样性对增强仿真数据有效性的关键作用 [39] 方法技术细节 - **3DGS仿真引擎**：利用从真实数据重建的3DGS资产，通过输入相机参数和智能体状态，渲染出新视角的RGB观测图像，以减小域差异 [15] - **轨迹扰动**：从覆盖动作空间的人类轨迹词汇库中采样，通过对纵向/横向偏移和航向变化设阈值，并剔除无效轨迹，确保扰动既多样又合理 [19] - **协同训练规划器**：为全面评估，选取了三种代表性端到端规划范式：基于回归的LTF、基于扩散模型的DiffusionDrive和基于词汇评分的GTRS-Dense [24] - **训练目标**：对于回归和扩散模型，最小化模仿损失；对于评分模型，额外增加奖励预测损失 [25][26] - **数据缩放分析**：采用对数二次函数建模性能与总数据量的关系，以分析缩放趋势 [33] 总结与影响 - SimScale是一个完整的虚实结合学习系统，能够释放现有真实世界驾驶数据的潜力，通过仿真扩展持续提升模型性能 [12][44] - 该研究为端到端规划中基于有限真实场景扩展仿真数据提供了一套系统化方案，并揭示了推动仿真规模化的关键因素 [6][7] - 研究表明，探索性专家设计、交互式环境以及规划器的多模态建模能力，是提升仿真数据有效性和实现良好数据扩展特性的重要因素 [12][44]