LiAD

搜索文档
 理想詹锟ICCV'25讲世界模型从数据闭环到训练闭环PPT
 理想TOP2· 2025-10-28 23:18
 技术发展路线 - 自动驾驶技术正从基于规则的系统、模仿学习向端到端+视觉语言模型以及无地图方案演进 [6] - 技术性能的提升依赖于仿真效率、数据规模以及人类工程师的经验 [6] - 视觉语言模型和世界模型是构建L4级训练闭环的关键组成部分 [15][16]   数据闭环的价值与规模 - 公司已积累15亿公里的驾驶数据,数据片段长度为15至45秒 [8] - 数据闭环基础设施包含超过200种触发条件,能够实现分钟级的数据反馈 [8] - 数据规模呈现显著增长,从2020年的数据点增长至2025年的规划 [8]   端到端视觉语言模型的数据缩放定律 - 模型性能随着训练片段数量的增加而提升,从100万片段到1000万片段均有对应性能指标 [10] - 在引入“超级对齐”技术后,模型干预间隔里程数显著提高,例如从无对齐时的约20公里提升至超级对齐后的超过200公里 [10] - 性能提升过程具有明显的时间线,从2023年02月27日到2025年01月05日期间持续迭代优化 [10]   数据闭环的局限性 - 数据闭环技术无法单独解决所有复杂驾驶场景,例如交警指挥、车道变化、前方烟花爆炸、羊群突然切入等边缘案例 [11][12] - 行业共识是自动驾驶的竞争已进入下半场,重点从数据闭环转向训练闭环,核心在于评估和真实世界效用 [13][14]   训练闭环的关键技术栈 - 关键技术包括区域级仿真、合成数据、强化学习、世界模型、多模态生成与场景重建等 [17][18] - 仿真技术从重建向生成演进,结合了3D高斯泼溅+神经辐射场、3D高斯泼溅+扩散模型等前沿方法 [19] - 公司在该领域有明确的技术发展路线图和时间表,例如2024年2月的Hierarchy UGP项目至2025年9月的RLGF项目 [20][21][24][26]   生成数据的应用 - 生成数据主要应用于场景编辑、场景迁移和场景生成三大方向 [27][29][30][31][33] - 生成数据能够覆盖多种关键变量,包括车辆、自车行为、交通状态、天气、道路类型和行为等 [34]   强化学习引擎的系统能力 - 强化学习引擎的核心能力取决于世界模型、3D资产、模拟智能体、奖励模型以及GPU算力与效率 [35][36] - 构建多样化的场景、交互行为并提供精确反馈是提升系统泛化能力的关键 [36] - 与基础仿真环境相比,推理过程对计算资源的需求更为密集 [36]   训练闭环的核心挑战 - 交互式智能体是构建训练闭环过程中面临的主要挑战 [38][40] - 模拟环境中是否包含智能智能体对仿真效果有决定性影响 [41]   总结与展望 - 自动驾驶技术的发展方向是从数据闭环演进至训练闭环 [44] - 最终目标是建立由目标驱动、具备自我探索能力的学习方法 [45]

