Workflow
Waymo基座模型
icon
搜索文档
业内团队负责人对Waymo基座模型的一些分析
自动驾驶之心· 2025-12-22 08:42
Waymo端到端自动驾驶新范式技术解析 - 文章核心观点:Waymo发布技术博客,阐述了其在端到端自动驾驶新范式下的核心技术架构,重点包括基于大模型的基座系统、新型安全验证与可解释性方法以及数据驱动闭环 [2] 基座大模型架构 - Waymo的自动驾驶基座模型采用快慢双系统架构 [2] - 快系统核心模块是感知,相对白盒化,对应上一代自动驾驶方案 [2][4] - 慢系统核心模块是基于Gemini的视觉语言模型,用于复杂语义推理 [2][4] - VLM输入包括驾驶员语言、传感器原始数据及历史信息,输出涵盖自车轨迹、他车行为预测和高精地图 [2] - 慢系统将自车与他车轨迹预测视为下一个词预测任务,利用Gemini大语言模型作为编码器,并采用利于强化学习的解码器 [5] - 基座模型有三个主要用途,但具体用途未在提供内容中详述 [6] 安全验证与可解释性方法 - 在端到端黑盒范式下,通过设立严格的车载验证层进行安全验证 [7] - 验证方法是将网络的显式中间结果与真实值进行对比 [7] - 对比的真实值不仅包括感知标注结果,也包含部分与仿真器生成的编码是否一致的编码结果 [7] 数据驱动飞轮 - Waymo构建了双层数据飞轮:内环是基于强化学习的仿真-验证-上车闭环;外环是基于实车测试的闭环 [8] - 车端模型、云端仿真器、评估器三者共享同一个基座模型 [11] - 车端数据挖掘仍然是新范式下的核心 [12] - 内环数据飞轮强烈依赖于基于世界模型的生成式仿真 [12] 行业技术趋势 - 端到端自动驾驶通过传感器数据直接输出规划或控制信息,是当前智能驾驶最具代表性的方向 [15] - 行业关注重点算法包括BEV感知、大语言模型、扩散模型和强化学习 [15] - 基于扩散模型的规划器和基于VLA的算法是当前重要的实战研究方向 [15]