推理视觉语言模型
搜索文档
英伟达拿出推理版VLA:Alpamayo-R1让自动驾驶AI更会动脑子
机器之心· 2025-12-02 08:17
文章核心观点 - NVIDIA Research推出的Alpamayo-R1是一种带有推理能力的视觉-语言-行动模型,旨在解决自动驾驶系统在“长尾场景”中缺乏因果推理能力的关键瓶颈 [1] - 该模型通过引入因果链数据集、扩散式轨迹解码器和多阶段训练策略,使车辆不仅能执行指令,还能在决策前推理出因果关系,实现从“黑箱”到“白箱”的转变 [1][18][19] - 模型在实验中表现出显著性能提升,特别是在规划精度、安全性和推理-行动一致性方面,更接近“真正会判断的司机” [6] 自动驾驶行业当前瓶颈 - 当前自动驾驶模型的瓶颈在于“看”得见但“想”不明白,传统端到端系统常在“长尾场景”中出错,例如迎面来车违规左转、行人突然闯入、临时施工等极少数但易发生事故的场景 [1] Alpamayo-R1模型核心创新 - 引入Chain of Causation因果链数据集,为驾驶数据标注“为什么这样做”的推理信息,例如“减速并左变道,是因为前方有助动车等红灯,且左侧车道空闲” [2][3] - 采用Diffusion-based Trajectory Decoder扩散式轨迹解码器,在实时约束下生成连续、动态可行的驾驶轨迹,结合语言推理输出与物理约束 [5] - 实施Multi-Stage Training多阶段训练策略,包括大规模驾驶数据模态注入、因果链数据监督微调和强化学习优化,使模型在开放及长尾场景中更稳健 [6][13] 模型性能表现 - 规划精度提升12%,越界率降低35%,近碰率降低25%,推理-行动一致性提升37% [10] - 具备99毫秒的端到端实时延迟性能 [10] 技术实现细节 - 输入由多相机、多时序观测帧组成,可选配高层语言输入,所有输入被统一编码成多模态token序列,按时序和传感器顺序排列,送入主干模型Cosmos-Reason进行推理与预测 [7][8] - 输出包含三类token:推理链、中层动作与未来轨迹预测 [8] - 采用“人机协同标注”机制生成CoC数据集,人工标注关键帧和核心因果因素,通过GPT-5等大模型自动生成初版推理后由人类审查,并通过四项规则严格把关质量 [10] 训练流程 - 第一阶段为监督微调,基于在370万条VQA数据上预训练的Cosmos-Reason模型进行微调,其中包括2.47万条驾驶设计视频样本和额外的10万条驾驶样本用于领域自适应 [15] - 第二阶段为因果链监督,引入CoC数据集显式监督模型的推理输出,使其能回答“为什么要减速”等问题,通过人工和教师模型生成高质量推理样本 [16] - 第三阶段为强化学习后训练优化,通过多维度奖励机制提升推理精准性、推理-行动一致性、轨迹平滑性及闭环控制稳定性 [17] 行业未来展望 - Alpamayo-R1的设计理念是自动驾驶从“黑箱”到“白箱”的转折点,使AI的“推理链”与物理世界的“行动链”形成真正闭环,为实现可解释的L4自动驾驶奠定基础 [18][20] - 当车辆能解释自己的每一个决策时,才能确保更加安全,信任与普及才会得以实现 [21]