扩散模型在自动驾驶领域的应用综述 - 扩散模型凭借强大的多模态建模能力，能够从复杂数据分布中生成多样性强、符合物理约束的结果，为自动驾驶系统提供新的解决方案 [2] - 该技术可显著提升数据多样性、增强感知系统鲁棒性，并有效辅助决策模块处理各类不确定性，已成为自动驾驶基础模型重要的一环 [3] 感知与三维占用预测 - 基于扩散模型的三维占用预测方法显著优于传统判别方法，尤其在处理遮挡或低可见度区域时表现突出，生成的占用特征能有效支持下游规划任务 [5] - 条件扩散模型被应用于驾驶场景的精准图像翻译，帮助系统更好地理解和适应各种道路环境 [5] 预测与决策应用 - 稳定扩散模型可高效完成车辆轨迹预测任务，生成高精度的其他车辆运动轨迹预测结果，显著提升自动驾驶系统的预测能力 [5] - DiffusionDrive框架利用扩散模型对多模态动作分布的建模能力，通过多模态锚点和截断的扩散机制处理驾驶决策中的不确定性，实现了端到端自动驾驶的创新应用 [5] 数据生成与合成 - 扩散模型有效解决了自然驾驶数据集多样性不足、真实性与可控性受限的难题，为自动驾驶验证提供高质量合成数据 [5] - 可控生成技术对解决3D数据标注挑战尤为重要，未来还将探索视频生成以进一步提升数据质量 [5] 驾驶场景生成技术 - 双条件时间扩散模型（DcTDM）通过引导帧转换结合双条件来增强时间一致性，能够生成长达40秒、节奏一致且连贯的驾驶视频 [7] - 该模型在一致性和帧质量方面性能优于其他视频扩散模型，提高了25%以上 [7] - LD-Scene框架融合大语言模型与潜在扩散模型，通过自然语言实现用户可控的对抗性场景生成，支持对碰撞类型与强度等对抗行为的细粒度控制 [11] 多视角场景生成 - DualDiff双分支条件扩散模型引入占用射线采样（ORS）作为语义丰富的3D表示，结合数值驾驶场景表示实现全面的前景与背景控制 [14] - 该模型在FID分数上达到最先进水平，并在下游的BEV分割和3D目标检测任务中取得更优结果 [14][17] - DiVE基于扩散Transformer的生成框架专门设计用于生成高保真、时间连贯且跨视图一致的多视图视频，能够与鸟瞰图布局和文本描述无缝对齐 [19][22] 交通仿真与场景生成 - DriveGen基于大模型的新型交通仿真框架可生成多样化交通场景并支持定制化设计，包含LLM生成地图及车辆资产的初始化阶段和VLM选取路径点目标的推理阶段 [26][27] - Scenario Dreamer是一种完全数据驱动的自动驾驶规划生成仿真器，其核心是新颖的向量化潜在扩散模型，以约2倍更少的参数、6倍更低的生成延迟实现优于最强基线的生成质量 [28][33] 视频生成与质量控制 - DualDiff+引入奖励引导扩散（RGD）框架维持生成视频的全局一致性和语义连贯性，在NuScenes数据集上将FID分数降低4.09% [34][36] - 在下游任务中，车辆mIoU提升4.50%，道路mIoU提升1.70%，前景mAP提高1.46% [34] 安全关键场景生成 - AVD2事故视频扩散描述框架通过生成与详细自然语言描述及推理对齐的事故视频，增强事故场景理解能力 [39][42] - CCDiff因果组合扩散模型识别智能体间的潜在因果结构并融入场景编码器，提升生成场景的真实性，在碰撞率、偏离道路率等关键指标上展示改进的闭环性能 [44][48] 可控生成与优化技术 - 多引导扩散模型采用直接偏好优化（DPO）算法进行微调，基于引导分数优化偏好，有效应对引导采样微调过程中的复杂性和挑战 [51][52] - SceneDiffuser分摊扩散仿真技术将去噪计算成本分摊至未来仿真步骤中，显著降低单步推演成本（推理步数减少16倍），同时缓解闭环误差 [55][58] 道路场景生成 - DiffRoad扩散模型通过逆向去噪过程从白噪声中合成道路布局，保留真实世界的空间特征，设计的Road-UNet架构优化主干网络和跳跃连接之间的平衡 [59][62] - 该模型能够生成真实且平滑的道路结构，同时保持原始分布特性，生成的场景可以完全自动化转换为OpenDRIVE格式 [61][62] 评估与验证应用 - 基于扩散模型的方法通过融合行为复杂性和交通密度的对抗性引导函数，增强更有效、更真实的安全关键交通场景的生成 [65][67] - AdvDiffuser基于引导扩散的对抗性框架结合扩散模型捕捉背景车辆的合理群体行为，并利用轻量级引导模型有效处理对抗场景，提升可迁移性 [68][71] 系统性能与效率 - SLEDGE基于真实驾驶日志训练的生成式仿真器需要生成的实体具有独特属性，结合对现有车道图表示的系统研究，引入新颖的光栅到矢量的自编码器 [75][76] - 该仿真器支持500米长的路线，使2023年nuPlan挑战赛获胜者PDM的失败率超过40%，所需存储空间减少500倍（<4 GB） [76] 行为仿真与生成 - 通用行为扩散（VBD）框架利用扩散生成模型在闭环环境中预测场景一致且可控的多智能体交互，在Waymo仿真智能体基准测试中实现最先进的性能 [83][84] - 该框架通过基于行为先验和模型优化目标的多步细化，支持推理时的场景编辑，满足各种交通仿真应用中的广泛用户需求 [83] 图像与视频生成 - GenDDS基于隐扩散模型Stable Diffusion XL的驾驶场景生成方法，通过描述性提示引导合成过程，生成逼真且多样化的驾驶场景 [85][88] - GEODIFFUSION将各种几何条件转换为文本提示，赋能预训练的文本到图像扩散模型进行高质量检测数据生成，性能优于先前的L2I方法且训练时间快4倍 [95][96] 街景图像生成 - Text2Street框架通过三阶段实现可控生成：车道感知道路拓扑生成器、基于位置的目标布局生成器和多控制图像生成器 [100][102] - 在nuScenes数据集上显著优于Stable Diffusion等模型，车道计数准确率提升14.91%，目标计数准确率提升16.5% [101][103] 全景视频生成 - Panacea方法生成驾驶场景中的全景可控视频，产生无限量多样化的标注样本，融合新型4D注意力机制与两阶段生成流程以维持一致性 [104][106] - 通过ControlNet框架实现对鸟瞰图布局的精细化控制，能高效生成高质量多视角驾驶场景视频 [104] 布局引导生成 - DrivingDiffusion时空一致的扩散框架用于生成由3D布局控制的真实多视角视频，通过级联多视角单帧图像生成、多摄像头共享的单视角视频生成和后处理步骤解决问题 [119][121] - 该模型在复杂城市场景中生成大规模真实多摄像头驾驶视频，为下游驾驶任务提供支持 [119] 几何控制生成 - MagicDrive街景生成框架通过定制化编码策略融合相机位姿、道路地图、3D包围盒及文本描述，实现多样化3D几何控制 [124][125] - 与现有方法相比，通过分离前景与背景编码避免了BEV投影导致的几何信息丢失，同时支持天气、时间等场景属性控制 [125][128] 场景生成与验证 - DriveSceneGen数据驱动的驾驶场景生成方法从真实驾驶数据集学习并从零开始生成完整的动态驾驶场景，能够以高保真度和多样性生成与真实世界数据分布一致的新型驾驶场景 [128][129] - 在5000个生成场景上的实验结果突显了与真实世界数据集相比的生成质量、多样性和可扩展性 [129] 控制生成技术 - BEVControl两阶段生成方法可精确控制前景与背景内容，支持草图式输入便于人工编辑，在前景分割mIoU上显著超越当前最优方法BEVGen（5.89→26.80） [134][135] - 使用其生成图像训练下游感知模型，NDS指标平均提升1.29 [134] 安全评估生成 - DiffScene基于扩散的安全关键场景生成方法利用扩散模型近似低密度空间分布的能力，设计了多个对抗性优化目标指导扩散生成 [138][139] - 与6个最先进的基线方法相比，生成的场景在3个指标上更具安全关键性，在5个距离函数上更真实，对不同自动驾驶算法更具可转移性 [138] 交通仿真生成 - 场景扩散（Scene Diffusion）系统结合扩散模型与目标检测，直接生成具有现实性和物理合理性的智能体离散边界框布局，能够适应美国不同的地区并捕捉每个地区的复杂特征 [141][144] - 可控交通生成（CTG）条件扩散模型允许用户在测试时控制轨迹的期望属性，同时通过强制动力学保持逼真性和物理可行性 [145][148]