英伟达开源VLA自动驾驶模型Alpamayo-R1 - 英伟达研究团队正式发布并开源全新的视觉-语言-动作模型Alpamayo-R1,并计划在未来的更新中开源该模型的部分核心数据集 [1] - 这是英伟达首次将VLA模型进行开源,对应的数据集已上传至开源社区,总大小约100TB,数据许可明确可用于商业和非商业用途 [2] - 此举打破了高端自动驾驶模型的封闭高墙,标志着端到端自动驾驶技术从“模仿行为”迈向了具备深层“因果思考”的新阶段 [4] 模型性能与测试结果 - 在针对极高难度长尾场景的测试中,AR1的规划准确率相比仅有轨迹预测的基线模型提升了12% [5] - 在闭环仿真测试里,AR1成功将车辆冲出道路的事故率降低了35% [5] - 与其他车辆或行人的近距离危险遭遇率大幅减少了25% [5] - 该模型在NVIDIA RTX 6000 Pro Blackwell车载硬件上保持了99毫秒的端到端超低延迟,满足实时自动驾驶需求 [5] - 具体测试数据显示,AR1的越野率从基线模型的17.0%±3.0%降至11.0%±2.0%,近距离遭遇率从4.0%±3.0%降至3.0%±2.0%,AlpaSim得分从0.38±0.04提升至0.50±0.08 [5] 技术架构与创新 - 为解决传统端到端模型的“黑盒”问题,研究团队构建了全新的“因果链”数据集,核心在于教会模型建立“观察-原因-决策”的严密逻辑闭环 [7][12] - Alpamayo-R1采用模块化高效架构,由专为物理AI打造的Cosmos-Reason视觉语言模型负责环境理解和逻辑推理,由基于流匹配技术的动作专家解码器控制行动 [13] - 在训练阶段引入了强化学习机制,利用更大规模的推理模型作为批评者对AR1的表现进行打分,重点要求模型推理逻辑与实际驾驶动作一致 [13][15] - 采用强化学习新模式后,模型的推理质量提升了45%,推理与行动的一致性提高了37% [17] - 训练策略表格显示,结合推理、一致性和安全性的强化学习策略,将近距离遭遇率从6.9%降至3.7%,推理-动作一致性得分从0.62提升至0.83 [16] 行业影响与战略意义 - VLA模型将“世界知识”引入驾驶舱的能力,是突破L4级自动驾驶长尾难题的公认解决方案之一 [8] - VLA研发对算力、算法、数据集要求极高,此前仅有小鹏、理想、小米、元戎启行等头部企业在推动VLA上车,开源项目也较少 [10] - 英伟达通过开源AR1及数据集,向全行业提供了一套L4级自动驾驶的“参考答案”,有效降低了中小厂商和研究机构的入场门槛,可能催生一批基于AR1微调的方案 [19] - 此举是英伟达“软硬一体”战略的体现,AR1展现的强大性能依赖于英伟达强大的GPU算力和配套的Cosmos框架工具链,通过定义先进的软件范式来锁定未来的硬件市场 [19] - 该项目由英伟达自动驾驶负责人吴新宙全面负责,他曾任小鹏汽车自动驾驶副总裁,于2023年8月加入英伟达并直接向CEO黄仁勋汇报 [18]
英伟达把自动驾驶核心技术公开了,吴新宙牵头研发,VLA大模型和海量数据免费用