普林斯顿AI Lab出题,「空间智能」大考:人类83.3%,大模型最高39.7%!
机器之心·2026-11-04 07:17

文章核心观点 - 普林斯顿AI Lab提出空间智能新基准SSoN,用四张静态室内图像让模型找出违背同一场景的那一张并解释原因,剥离动态交互与动作控制,单独检验跨视角空间理解能力 [1] - 人类在完整1,000道题上准确率达83.3%,六个受测视觉语言模型中最高的GPT-6 Astra Pro仅39.7%,其余五个全部低于四选一25%的随机基线,人机差距出现在更基础的静态跨视角理解层面 [3] - 低于25%并非能力下限,而是SSoN专门构建了“看着像变了、空间上却正确”的强干扰视图,模型能发现外观差异却无法判断是否来自视角变化,就会被系统性带偏 [3] - 39.7%仅是选对答案的成绩,部分回答理由仍站不住脚,说明“选对”不能替代“说清楚为什么” [4][22] 题型难度分层 - 交换和细节变化是模型相对优势区,两个物体交换位置或同一物体形状、颜色、纹理变化能提供物体对应与外观差异线索,六个模型在这两类上均高于各自整体成绩,Astra Pro两类均达80%以上 [11] - 镜像和删除处于中间层但对多数模型仍很难,镜像题需判断房间结构是否真的左右翻转、排除相机换边造成的视觉变化,删除题需区分“物体真的消失”与“只是被遮挡、移出视野”;镜像题上除Astra Pro外其余五个模型全部低于25%随机基线,删除题上这五个模型最高仅Sol Pro的42.57% [11] - 移动和旋转暴露更普遍的几何推理短板,六个模型移动题最高准确率仅27.20%,旋转题最高仅9.54%,而人类在这两类上均达70%以上;即使明确告知模型六类编辑分别是什么,也不能有效提升这两类分数 [11] - SSoN覆盖七个室内场景来源、六类三维编辑,共1,000道题、4,000张图像,让总分之下的能力差异逐一显现 [12] 视觉编码器与强干扰实验 - 研究者用CLIP、ViT和DINOv2系列共17个视觉编码器,以图像特征相似度选择离群视图,准确率仅16.9%至21.7%,全部低于25%随机基线 [17] - 强干扰的作用在于:正确的新视角可能改变大片可见内容,真实编辑却可能只留下局部线索,依赖全局外观差异的选择规则无法可靠区分二者 [18] - VLM也会被表面差异带偏,开发阶段诊断实验中合法但容易误导的视图吸引了更多错误选择,替换为清晰正面参照后多类题目成绩明显改善,说明变化摆在眼前时能认出并不保证换个视角仍能推理出来 [18] 答案与证据双重检查 - SSoN同时检查答案与证据,True solve要求选择正确且解释符合图像事实、足以支持跨视角矛盾判断;六个模型合计1,368次正确选择中29.5%未通过检查,最高模型成绩从39.7%答案准确率降至34.9%的True solve [22] - 出题和阅卷两端均做核验:构建时要求异常图及至少两张正常视图提供可用证据,排除多解题和明显渲染捷径;阅卷时所有选对的模型回答都经人工证据复核;超过10,000个开发候选题的迭代最终留下这1,000道题 [22] 提示、重建与相机参数干预 - 干预集为另行选定的100道题,原始答案准确率24%、True solve为12%,后续比较均在这组固定题目内进行 [27] - 比较指导与编辑类别知识结合时准确率达48%、True solve为34%,提示能提供帮助但未让模型答对一半 [27] - 让模型实际执行三维重建再检查相机视角,完整流程得到47%准确率、34%的True solve,删除和细节类表现较好,移动与旋转仍困难,仅加入三维重建不足以消除几何判断短板 [27] - 最明显改善来自直接提供真实相机信息,在比较指导基础上加入ground truth相机内参、外参和图像尺寸后,准确率达61%、True solve达48% [28] - 移动类题目尤为突出:比较指导条件下准确率和True solve均为20%,加入相机信息后两项都升至70%,提示相机几何能帮助模型区分“物体在画面里动了”和“物体在房间里动了” [29] - 但61%与48%之间仍有距离,即使拿到真实相机参数,这100题中有充分证据支持的正确回答仍不到一半 [29] 微调训练实验 - 研究者对Qwen2.5-VL-7B进行微调,按关联房间和场景家族隔离train、val和test,最终面对来自未见房间的201道测试题 [31] - 未经微调准确率21.89%,只监督答案提升到33.33%,同时提供推理依据和答案监督达到41.79%,相较原始模型准确率接近翻倍 [32] - 区别在于训练时是否告诉模型“证据为什么支持这个答案”,推理依据监督进一步提供变化类型、相关物体与支持视图,让模型学习把跨视角证据和最终选择联系起来 [32] - 旋转题变化最突出:答案监督已使旋转类准确率达32.84%,加入推理依据后升至58.21%;更换四张图选项顺序后,平均准确率和跨顺序一致答对比例也有所改善 [32] - 空间一致性判断可通过定向监督改善并迁移到训练时没见过的房间,但改善仍不均匀,推理依据带来的额外整体增益需更多训练重复验证 [32] 行业意义与研究方向 - SSoN提出的朴素要求是:相机动了场景可以没变,图像变了空间关系仍可能一致;动态空间智能需将观察转化为规划、决策与行动,可靠理解当前空间是支撑这些行为的基础 [34] - 83.3%与39.7%的落差揭示当前短板,提示、几何与训练实验给出继续追问的方向:需要怎样的模型和监督,才能让AI在换个视角后仍理解同一个三维世界 [34] - SSoN由普林斯顿大学AI Lab团队完成,第一作者Huizi Cao为卡尔顿学院本科生,曾以一作身份在Nature Medicine发表论文,团队还包括来自宾夕法尼亚大学、Adobe Research的研究者,项目由普林斯顿大学AI Lab的Shilong Liu教授、Mengdi Wang教授和西北大学的Manling Li教授合作指导完成 [36]

普林斯顿AI Lab出题,「空间智能」大考:人类83.3%,大模型最高39.7%! - Reportify