Workflow
自动驾驶场景重建和生成
icon
搜索文档
理想汽车智驾方案World model + 强化学习重建自动驾驶交互环境
自动驾驶之心· 2025-09-07 00:05
自动驾驶仿真技术突破 - 融合几何先验的生成式闭环仿真框架DrivingSphere构建4D世界表示 将静态背景与动态对象融合为占用网格 解决开环仿真缺乏动态反馈及传统闭环仿真视觉真实性问题[8] - 首次结合文本提示与BEV地图驱动3D占用生成 通过场景扩展机制实现城市级静态场景的无限扩展[8] - 通过OccDreamer扩散模型基于BEV地图与文本提示生成城市级3D静态场景 突破传统方法对固定数据集的依赖[17] 多维度仿真能力提升 - 动态环境组成模块通过OccDreamer扩散模型与动作动态管理构建包含静态背景与动态主体的4D驾驶世界[13] - 视觉场景合成模块通过VideoDreamer将4D占用数据转换为高保真多视图视频 支持自动驾驶系统感知测试[21] - 采用时空扩散Transformer(ST-DiT)架构 集成视图感知空间自注意力机制处理多视图特征空间一致性 时间自注意力确保动作连续性[22][26] 闭环反馈机制创新 - 通过自动驾驶代理与模拟环境双向交互形成"代理动作-环境响应"实时循环 支持真实场景算法验证[23] - 交通流引擎实现大规模智能体协同 支持十字路口通行等复杂场景仿真[23][27] - 支持"仿真-测试-优化"迭代流程 通过闭环反馈暴露算法缺陷并指导模型改进[23] 技术整合与论文支撑 - 理想团队在CVPR2025发表四篇论文:StreetCrafter、DrivingSphere、DriveDreamer4D与ReconDreamer 提供自动驾驶场景重建与生成的技术细节[5][30] - 占用标记器使用VQVAE将3D占用数据映射为潜在特征 通过组合损失函数优化重建精度[20] - 条件编码机制整合全局几何特征/智能体ID与位置编码/文本描述嵌入 确保生成视频的语义准确性与外观一致性[26]