来自香港大学OpenDriveLab、中科院自动化所、小米汽车的联合团队提出了一种解决方案—— SimScale 。 自动驾驶数据荒怎么破？ OpenDriveLab 投稿 量子位 | 公众号 QbitAI 该方案 通过真实世界仿真生成关键场景，以及真实仿真协同训练策略，首次揭示了自动驾驶仿真数据的规模效应 。 现实世界难以提供足够的关键与长尾场景，采集到的大多是价值有限的常态片段，导致 数据越多、提升越难 。 因此，自动驾驶的瓶颈不在规模，而在缺乏能系统生成关键场景并支撑大规模训练的新路径。 无需更多真实数据， 只靠扩大仿真数量，一样能持续突破任何端到端驾驶模型的性能上限 。 为什么要有SimScale？ 因为让大模型屡创新高的Data Scaling，在自动驾驶场景中失灵了—— 为此，SimScale应运而生。 什么是SimScale？ SimScale是一个能"无限扩张世界"的仿真生成框架，通过高保真神经渲染，自动制造多样化反应式交通场景与伪专家示范。 它也是一套让仿真与真实"相互增益"的训练策略，使各种端到端模型都能越训越强，鲁棒性与泛化性全面提升。 它还是一份首次系统揭示自动驾驶仿真规模效益的"实践 ...

文章核心观点 - 自动驾驶行业面临的核心瓶颈并非数据总量不足，而是缺乏足够多的高风险、长尾、极端等“关键场景”数据，导致模型性能难以持续提升 [2] - 由中科院、港大OpenDriveLab和小米汽车联合完成的SimScale研究，提出了一种通过可扩展的3D高斯Splatting仿真生成关键场景并与真实数据协同训练的新路径 [2] - 该方法首次揭示了自动驾驶仿真数据的规模效应：在固定真实数据量的前提下，仅通过扩大仿真数据规模，就能持续提升端到端驾驶模型的性能上限 [2][4] - 在真实世界基准测试中，该方法显著提升了多种规划器的性能，例如在navhard数据集上EPDMS指标最高提升6.8分，在navtest数据集上最高提升2.9分 [4][44] 背景与问题 - 大模型在其他领域的成功依赖于数据规模效应，但自动驾驶领域此方法失灵，原因是现实道路数据中安全“常态行为”占绝大多数，关键场景难以大规模收集 [2] - 仅依靠扩展真实世界驾驶数据效率低下，因为人类专家演示数据中复杂、安全关键场景代表性不足，且训练出的规划器难以泛化到罕见或未见场景 [7] - 行业亟需一种能系统性生成大量关键场景、并规模化训练的新路径，以解决数据分布偏移和因果混淆问题 [2][7] SimScale方法概述 - 核心框架包含一个可扩展的仿真数据生成流程和一个有效的虚实协同训练策略 [11] - 采用基于3D高斯Splatting的高保真神经渲染技术构建仿真数据引擎，能够生成可控的多视角视频观测数据 [13][15] - 设计了伪专家场景仿真流水线：通过对自车轨迹进行多样化扰动采样，生成分布外状态，并配套生成伪专家轨迹作为动作监督 [8][17] - 提出了两种伪专家策略进行对比：引导策略回归人类轨迹分布的“恢复式专家”和能生成优化、探索性轨迹的“规划器式专家” [20][23] - 采用简单的虚实协同训练策略，从真实数据集和仿真数据集的混合集中随机采样，以保留人类驾驶分布并减轻视觉域退化 [24] 实验结果与关键发现 - **排行榜表现**：在navhard基准测试中，采用SimScale协同训练的GTRS-Dense模型取得了47.2的得分，创下该基准的最新最优性能 [31] - **性能提升**：所有测试模型在两个基准上均表现提升，性能较弱的基线模型获益最明显，性能提升超过20% [31] - **规模效应**：实验首次系统揭示了仿真数据的规模效益，在固定真实数据量的情况下，仅增加仿真数据量就能实现策略性能的平稳提升 [4][33] - **伪专家的探索性**：对于所有规划器，“规划器式专家”策略下的数据缩放曲线和最终性能均优于“恢复式专家”，凸显了伪专家探索性行为对提升仿真数据价值的重要性 [36] - **多模态建模的优势**：扩散模型类规划器相比回归类规划器，在仿真数据扩展中表现出更近似线性的性能提升，证明了多模态建模能力对于处理多样化监督和可扩展自动驾驶的重要性 [38] - **奖励信号的效用**：对于基于词汇评分的规划器，仅使用仿真数据中的奖励信号而无需专家轨迹，就能实现更优的性能，表明在稳定优化方向的前提下，奖励引导能发挥更好效果 [39] - **反应式仿真的价值**：与非反应式仿真相比，引入反应式交互的仿真数据虽然有效样本数更少，但能带来持续且显著的性能提升，证明了交通交互的真实性和多样性对增强仿真数据有效性的关键作用 [39] 方法技术细节 - **3DGS仿真引擎**：利用从真实数据重建的3DGS资产，通过输入相机参数和智能体状态，渲染出新视角的RGB观测图像，以减小域差异 [15] - **轨迹扰动**：从覆盖动作空间的人类轨迹词汇库中采样，通过对纵向/横向偏移和航向变化设阈值，并剔除无效轨迹，确保扰动既多样又合理 [19] - **协同训练规划器**：为全面评估，选取了三种代表性端到端规划范式：基于回归的LTF、基于扩散模型的DiffusionDrive和基于词汇评分的GTRS-Dense [24] - **训练目标**：对于回归和扩散模型，最小化模仿损失；对于评分模型，额外增加奖励预测损失 [25][26] - **数据缩放分析**：采用对数二次函数建模性能与总数据量的关系，以分析缩放趋势 [33] 总结与影响 - SimScale是一个完整的虚实结合学习系统，能够释放现有真实世界驾驶数据的潜力，通过仿真扩展持续提升模型性能 [12][44] - 该研究为端到端规划中基于有限真实场景扩展仿真数据提供了一套系统化方案，并揭示了推动仿真规模化的关键因素 [6][7] - 研究表明，探索性专家设计、交互式环境以及规划器的多模态建模能力，是提升仿真数据有效性和实现良好数据扩展特性的重要因素 [12][44]