基础模型在自动驾驶场景生成与分析中的应用 - 基础模型（Foundation Models）能够处理异构输入（如自然语言、传感器数据、高清地图和控制指令），实现对复杂驾驶场景的合成与解析 [2] - 文章提出了一个统一分类体系，涵盖大语言模型（LLMs）、视觉-语言模型（VLMs）、多模态大型语言模型（MLLMs）、扩散模型（DMs）和世界模型（WMs）在自动驾驶场景生成与分析中的应用 [2] - 传统场景生成方法存在多样性有限和难以生成真实高风险场景的问题，而基础模型可以解决这些挑战 [2] 语言模型在场景生成中的应用 - 使用GPT-4、Claude 3.5 Sonnet、Gemini 1.5 Pro等大语言模型生成安全关键场景 [9] - 采用CoT（Chain-of-Thought prompting）、ICL（In-Context Learning）、RAG（Retrieval-Augmented Generation）等技术 [9] - 在CARLA、MetaDrive、SUMO等仿真平台上测试生成的场景 [9] 视觉-语言模型在场景分析中的应用 - 使用BLIP2、InstructBLIP2、MiniGPT4等视觉-语言模型进行场景理解和视觉问答 [18] - 在nuScenes、Waymo Open等数据集上进行感知、预测和规划任务 [18] - 采用零样本学习、LoRA（Low-Rank Adaptation）等技术 [18] 扩散模型在场景生成中的应用 - 使用DDPM、DiT、LDM等扩散模型生成交通流和静态交通元素 [27] - 可以控制场景参数如速度、目标航点、交通密度等 [27] - 在nuScenes、Argoverse 2、WOMD等数据集上进行测试 [27] 世界模型在场景生成中的应用 - 使用GAIA-1、DriveDreamer等世界模型进行未来预测和场景生成 [33] - 采用自回归、扩散等架构 [33] - 在nuScenes、Waymo Open等数据集上进行训练和测试 [33] 数据集和仿真平台 - nuScenes、Waymo Open、DRAMA、HighD是最具影响力的数据集 [35] - CARLA、MetaDrive、LGSVL、SUMO是最常用的仿真平台 [36] - 这些资源为自动驾驶场景生成与分析研究提供了重要支持 [35][36]