Workflow
自适应推理
icon
搜索文档
英伟达Alpamayo再进化!反事实推理VLA,安全性能提升很可观
自动驾驶之心· 2026-01-07 09:07
文章核心观点 - 英伟达、UCLA与斯坦福联合提出反事实视觉-语言-动作模型CF-VLA,该模型具备自反思与自适应推理能力,能够在执行驾驶动作前对规划进行反事实推理与修正,从而显著提升自动驾驶系统的轨迹准确性、安全性与可解释性 [2][3][10] - CF-VLA通过创新的“rollout-筛选-标注”数据流水线,从模型自身行为中自动挖掘高价值场景并生成反事实训练数据,形成自改进循环,是实现“三思而后行”自动驾驶智能体的重要一步 [3][11][15] 背景与现有挑战 - 现有增强推理能力的视觉-语言-动作模型主要生成描述性推理轨迹,缺乏对自身规划动作安全性或合理性的质疑与修正能力 [3][6] - 实现VLA模型内部的自反思式反事实推理面临两大挑战:一是缺乏动作到语言的映射机制,二是标准训练流程极少教导模型回答反事实问题 [7] CF-VLA模型框架与核心机制 - **自反思反事实推理循环**:模型首先生成时间分段的元动作概括驾驶意图,随后结合视觉环境进行反事实思维链推理,核心问题是“若我遵循该规划,会发生什么?”,并在最终轨迹生成前修正不安全或非最优规划,形成“元动作→反事实推理→更新后元动作→轨迹”的闭环 [10][19] - **自适应推理**:模型具备“按需思考”能力,通过统一指令隐式学习,仅在复杂、高风险场景中启用反事实推理,在简单场景中节省计算资源,从而平衡性能与测试时计算开销 [3][16][21] - **元动作设计**:元动作作为语言与动作之间的中间抽象,从纵向、横向和车道级三个正交维度,在6.4秒规划时域内以时间分段形式描述驾驶行为的预期演变,便于语言模型进行高层意图的推理与修正 [21][22] 数据流水线与训练方法 - **“Rollout-筛选-标注”流水线**:首先对基础VLA模型进行rollout生成候选元动作与轨迹;通过比较自由生成与预填充真实元动作下的轨迹质量差异,自动筛选出元动作为性能瓶颈的高价值数据点;最后利用高性能教师模型为筛选出的场景生成反事实推理轨迹 [11][12][24][26] - **混合数据训练**:训练结合了纯轨迹数据集(约1160万个20秒视频片段)、元动作标注数据集(训练集含43.3万个20秒片段和80.1万个8.4秒样本)以及反事实推理数据集(通常包含20万个样本),分阶段训练得到完整CF-VLA模型 [8][31] - **多轮训练与自改进飞轮**:训练后的CF-VLA可重新接入数据流水线生成新一轮反事实数据,进行多轮训练以持续提升性能并降低推理率,实现自改进循环 [14][32] 实验结果与性能提升 - **轨迹准确率提升**:相比纯轨迹模型,CF-VLA将轨迹准确率提升高达17.6%;相比非反思元动作基线模型,提升9% [3][14] - **安全指标显著改善**:CF-VLA将安全指标提升20.5%,碰撞率降低约25%-30%,偏离道路率降低约15%-20% [3][45] - **自适应推理有效性**:CF-VLA的推理率与场景难度强相关,在变道、转向、弱势道路使用者等高不确定性或高风险场景中推理频率显著增加,并在这些复杂场景中实现了更大的误差降低 [21][45] - **多轮训练优势**:进行第二轮反事实训练后,模型在保持或提升平均误差和元动作对齐度的同时,推理率降低近一半,输出长度缩短,实现了准确率-安全性-计算开销的更优权衡 [43][45] 消融实验关键发现 - **元动作的重要性**:引入元动作相比纯轨迹模型使最小平均位移误差和最小终点位移误差降低约9%,添加语言监督后可再提升约5% [41] - **自适应推理的必要性**:强制在所有场景进行推理的模型,其最小平均位移误差比自适应变体升高22%,且修正后元动作IOU下降;强制不推理则在复杂场景中表现不佳,证明推理应选择性使用 [49] - **数据筛选的关键作用**:使用筛选后数据集训练的CF-VLA,其核心规划指标优于使用全数据集并强制“全程思考”的变体,表明反事实监督必须具有针对性,简单增加标注会引入噪声损害性能 [50] 定性案例与行业意义 - **实际场景修正能力**:可视化案例显示,CF-VLA能在并道、转向、弱势道路使用者等多种场景中,识别初始规划与场景的不匹配,并生成针对性修正,如提前变道避障、果断转向、减速让行等,提升了安全性、交通效率与语义一致性 [52][55] - **行业进化趋势**:自适应推理与自反思能力是当前自动驾驶VLA模型研究的热点,也是自动驾驶未来进化的趋势 [2]
英伟达用千万Clip搞定了反事实推理VLA!安全指标提升了20%......
自动驾驶之心· 2026-01-05 11:33
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 论文作者 | Zhenghao等 编辑 | 自动驾驶之心 近几个月,反事实推理的工作多了起来。 现有的思维链在推理中无法纠错,模型会沿着错误的逻辑推理出一个看似合理的结果。 在大模型领域,也有一些工作在尝试解决这个问题。业内像理想的ReflectDrive通过离散扩散的反思机制实现安全轨迹生成。今天自动驾驶之心为大家分享的英 伟达&UCLA&斯坦福的工作Counterfactual VLA - 具有自适应推理功能的自反思VLA模型,参考了很多英伟达前作Alpamayo-R1的设计。 CF-VLA这篇工作的重 点在数据pipeline,云端数据闭环很有参考价值,教师模型用的Qwen2.5-VL-72B-Instruct。 训练的数据量总结如下: 两个关键词:自适应推理、自反思。 自适应推理是在解决不同场景的推理开销问题,复杂场景长推理,简单场景短推理或者不推理。自反思能够让模型在执行 动作前对规划动作进行推理和修正。 这两点都是当前自驾VLA模型研究的热点,也 ...
OpenAI发布GPT-5.1:自适应推理与个性化体验双升级
海通国际证券· 2025-11-17 20:35
报告行业投资评级 - 报告未对行业或具体公司给出明确的投资评级(如优于大市、中性、弱于大市)[1][2][3][4][5] 报告核心观点 - OpenAI发布GPT-5.1系列模型,重点升级自适应推理与个性化体验,标志着行业竞争从参数规模竞赛转向综合体验竞赛[1][5] - 模型迭代周期约三个月,命名“5.1”强调同代内优化,核心在于用户体验与系统调度而非参数扩张[2] - 新架构通过自适应推理与智能路由提升答案质量与算力效率,同时增强个性化设置与安全管控,有望提升用户粘性及B端市场渗透潜力[3][4][5] 事件总结 - 2025年11月12日OpenAI正式发布GPT-5.1系列,包括GPT-5.1 Instant(日常交互主力)和GPT-5.1 Thinking(高性能推理引擎)[1] - 新增8种预设语气(如Default、Friendly、Professional)及实时可调参数(简洁度、温度、条理性),增强对话定制能力[1] - 模型分批推送至付费及免费用户,企业/教育用户享有7天优先体验,旧版GPT-5保留3个月过渡期[1] 技术升级亮点 - GPT-5.1 Instant引入轻量级自适应推理机制,复杂问题中自动提升回答完整性[1][3] - GPT-5.1 Thinking根据任务复杂度动态调整响应时间,简单任务提速,高复杂度任务保障输出质量[1][3] - GPT-5.1 Auto后台智能路由系统按任务类型自动调度最优模型,优化整体算力吞吐效率[3] 行业竞争格局影响 - 行业重心从“参数军备竞赛”转向“综合体验与系统工程”竞争,竞争力依赖模型能力与系统层能力整合[5] - 其他厂商需同步构建产品化能力、个性化体验及企业级安全体系以保持竞争力[5] - 本次更新虽短期收入提振有限,但中长期有望通过提升付费意愿、用户留存及生态黏性巩固竞争壁垒[5]
用户破8亿,GPT-5.1来了,表情包含量可自定义
36氪· 2025-11-13 11:09
新产品发布 - OpenAI宣布推出GPT-5系列最新升级版GPT-5 1 包括GPT-5 1 Instant和GPT-5 1 Thinking两个主要型号 在智能和沟通方式上均有提升 [1] - 新增语气控制选项 包括专业 坦诚 古怪三个性格选项 并可调整回复简洁程度 亲切程度 易读性及表情符号使用频率 [3] - GPT-5 1 Instant指令遵循能力提升 能更可靠回答用户真正想问的问题 例如可准确遵循以6个单词回答问题的指令 [13] - GPT-5 1 Instant首次拥有自适应推理能力 可自主决定在回答更具挑战性问题前进行思考以获得更透彻准确的答案 [13] - GPT-5 1 Thinking在日常使用中更高效易于理解 在简单问题上快速思考回答 在复杂问题上花费更多时间思考 反映在token用量变化上 [13] 产品性能与优化 - 在难度值低于50%的题目中 GPT-5 1系列模型所用token最多减少57% 而在难度最高问题上 token用量增加71% [13] - GPT-5 1 Thinking的回答变得更加清晰 行话和未定义术语更少 适用于复杂任务和技术概念解释 [16] - GPT-5 1 Instant在AIME 2025和Codeforces等数学和编程评估测试中获得显著提升 但公司未放出具体基准测试结果 [6] 用户增长与市场表现 - OpenAI最新用户数量已超过8亿 截至今年7月 其周活用户为7亿人 [5] 产品部署与API - GPT-5 1系列模型从发布当天开始推出 付费用户(Pro Plus Go Business)优先获得使用权 其次是免费和未登录用户 [8] - 教育和企业版用户获得7天提前访问 此后GPT-5 1将成为唯一默认模型 [8] - GPT-5将在付费用户的旧版模型下拉菜单中保留3个月以供用户比较 [8] - GPT-5 1 Instant和GPT-5 1 Thinking的API接口将于本周晚些时候推出 均具有自适应思考功能 [8] 用户反馈与案例 - 有网友体验称GPT-5 1 Instant聊天更冷静且更擅长回答问题 GPT-5 1 Thinking则像专注模式 并在Codex中测试成功克隆翻版X平台而无需手动编写代码 [16] - 新增自定义功能获网友好评 对于生产力场景用户 这种控制意味着可输出更符合特定要求的文案 [18] - 有网友吐槽ChatGPT类似新时代iPhone 用户不清楚升级具体带来哪些改变 [20] 公司战略与未来展望 - 从GPT-5到GPT-5 1的升级是有意义的改进 但模型仍处于GPT-5这一代模型中 未来迭代将遵循相同模式 可能意味着公司将以更平滑节奏逐步更新而非大幅度升级 [22]