文章核心观点 - 当前顶尖多模态大模型在纯视觉理解能力上存在严重缺陷，其能力仅相当于三岁幼儿水平，与人类存在系统性差距[3][4][15] - 视觉理解中的许多核心任务是“无法言说”的，无法在不丢失信息的情况下转化为语言描述，导致依赖文本推理的大模型在基础视觉任务上频繁出错[25][26][31] - 构建像BabyVision这样的评测集，将“看懂世界”的能力拆解为可量化的原子任务，对于诊断模型短板、引导多模态与具身智能发展至关重要[14][49] 评测集设计与方法 - 研究团队发布了名为BabyVision的多模态理解评测集，旨在评估模型不依赖语言的纯视觉能力[3] - 评测集最终包含388道高质量视觉题目，涵盖4大类共22种基础视觉子任务[13][18] - 数据构建过程严谨：参考儿童认知教材，从互联网爬取约4000张候选图片，经人工筛选标注，并实行双盲质检以确保题目质量[18] 核心视觉能力分类 - **精细辨别**：分辨细微的视觉差异，包含8个子任务[16] - **视觉追踪**：跟随路径、线条与运动轨迹，包含5个子任务[16] - **空间感知**：理解三维结构及其关系，包含5个子任务[16] - **视觉模式识别**：识别逻辑与几何规律，包含4个子任务[16] 模型与人类表现对比 - 在BabyVision-Mini的20道题测试中，顶尖多模态模型的表现落后于各年龄段儿童，甚至在三岁幼儿的基础视觉任务上失败[7][9] - 在完整的BabyVision评测中，人类基线（16位本科背景测试者）准确率高达94.1%[20][21] - 闭源模型中表现最佳的Gemini3-Pro-Preview准确率为49.7%，距离6岁儿童水平仍差约20个百分点[15][22] - 开源模型中表现最佳的Qwen3VL-235B-Thinking准确率仅为22.2%，多数模型集中在12%至19%区间[21] - 模型能力的落后是系统性的，在四大类视觉能力上均全面下滑，并非单一缺陷[23] 模型面临的核心挑战 - **挑战1：看不见“非语言细节”**：模型将视觉信息压缩成语言描述时，像素级错位等细微差异被抹平，导致无法区分相似选项[27][29][32] - **挑战2：追线追丢了**：对于连线追踪任务，模型将其转化为离散的方位步骤描述，在路径交叉点时容易“换轨”追错线，而人类本能是连续追踪[30][34][41] - **挑战3：缺少真正的空间想象**：在三维方块计数等任务中，模型缺乏稳定的3D内部表征与变换能力，容易漏掉隐藏块或搞错投影关系[36] - **挑战4：图形规律归纳难**：模型容易关注表面属性（如颜色、形状），误将“结构规则”理解为“外观统计”，导致在规则迁移时产生幻觉[37][40] 生成式视觉推理的探索 - 研究团队推出了BabyVision-Gen，从原数据集中标注出280道适合生成式作答的题目，要求模型输出图像或视频来展示解题过程[42][48] - 初步评测显示，生成式模型在视觉追踪、精细辨别等任务上出现了“更像人类”的行为（如画轨迹、做标注），但整体仍缺乏稳定获得完全正确解的能力[42][48] - 这表明，将视觉推理“落地到视觉操作”可能是补齐模型视觉短板的一条潜在路径[42] 对行业发展的意义 - 该评测揭示了多模态大模型在迈向通用智能与具身智能道路上的关键瓶颈：基础视觉能力严重不足[44][46] - BabyVision的价值在于为行业提供了可测量、可诊断、可迭代的评估工具，明确了差距所在与发展方向[49] - 现实世界的交互不依赖语言提示，因此补全“看得准、追得住、想得出、归纳得了”的视觉地基是实现可信赖的真实世界AI部署的前提[46][47][51]

多模态大模型视觉能力评测 - 红杉中国xbench与UniPat AI团队联合发布新的多模态理解评测集BabyVision，旨在测评大模型在不依赖语言提示时的纯视觉理解能力[1][33] - 评测核心观点指出，当前多模态大模型在语言与文本推理上突飞猛进，但在需要“看懂”而非“说清”的视觉问题上能力仍明显不足[1][33] - 评测设计理念是避免视觉问题退化为可完全用文字描述的文本题，从而迫使模型展现真正的视觉基础能力：比较、追踪、空间想象、模式归纳[1][33] 评测方法与设计 - BabyVision将视觉能力拆解为4大类共22个子任务，包括精细辨别（8个子任务）、视觉追踪（5个子任务）、空间感知（5个子任务）和视觉模式识别（4个子任务）[2][10][34][42] - 评测集构建参考了儿童认知教材和视觉发育测验，通过种子示例从互联网爬取约4000张候选图片，并经过严格的人工标注与双盲质检，最终产出388道高质量视觉题目[9][11][41][43] - 为确保“纯视觉”考核，团队在数据收集时过滤掉包含大量文字或需要文化常识的图片，并确保每道题的答案可通过视觉推理得出[11][43] 评测结果与表现差距 - 人类基线准确率高达94.1%（基于16位至少本科背景的测试者完成全量388题）[11][43] - 闭源模型中表现最强的Gemini3-Pro-Preview准确率为49.7%，其后GPT-5.2为34.8%、Doubao-1.8为30.2%[2][12][34][44] - 开源模型中表现最强的Qwen3VL-235B-Thinking整体准确率为22.2%，多数开源模型准确率在12%至19%区间[2][12][34][44] - 在BabyVision-Mini（20道题）的对比实验中，大多数模型分数低于平均3岁儿童，Gemini3-Pro-Preview是唯一稳定超过3岁基线的模型，但距离6岁儿童仍差约20个百分点[4][6][36][38] 模型能力短板分析 - 评测结果显示，模型在四大类视觉能力上表现均全面下滑，表明存在“系统性缺基础视觉能力”问题，而非单点缺陷[12][44] - 一些子任务如“Count 3D Blocks”在多模型中普遍表现极低，暴露了模型在结构化场景理解上的严重不足[12][44] - 关键原因在于许多视觉题目是“unspeakable”的，即视觉细节难以被无损压缩成语言token，模型若采用先复述再推理的语言捷径，关键信息会在压缩过程中丢失[2][14][34][46] 视觉任务面临的典型挑战 - 挑战1“非语言细节”：模型将形状概括为语言描述时，会抹平像素级错位等细微差异，导致选项在token空间里变得“几乎一样”[14][16][46][48] - 挑战2“追线追丢了”：在连线/轨迹题中，模型将连续路径翻译为离散的“左/右/上/下”步骤，遇到交叉点时易“换轨”追错线，而人类本能是锁定一条线追踪至终点[6][16][19][38][48][51] - 挑战3“缺少真正的空间想象”：在三维方块计数等任务中，模型缺乏稳定的3D内部表征与变换能力，容易漏掉隐藏块或搞错投影关系，而人类是在脑中构建并旋转立体结构[19][21][51][53] - 挑战4“图形规律归纳难”：模型常关注表面属性（颜色、形状），误将“结构规则”解读为“外观统计”，导致在规则迁移时产生幻觉，而人类抽象的是关系映射与变换规则[21][23][53][55] 生成式推理的新方向 - BabyVision-Gen从原基准中重标注出280道适合生成式作答的题目，要求模型用图像或视频输出解题过程或答案[2][24][34][56] - 在BabyVision-Gen上评测多种生成模型（如Nano-Banana-Pro、Qwen-Image、Veo-3、Sora-2）发现，生成式推理在视觉追踪、精细辨别等任务上表现出“更像人类”的行为（如画轨迹、做标注）[23][55] - 自动评测工具与人工评测的一致性达到96%，但生成模型整体仍缺乏稳定到达完全正确解的能力[2][24][34][56] - 该方向表明，将视觉推理“落地到视觉操作”可能是补齐模型视觉短板的一条潜在路径[23][55] 评测集的价值与意义 - BabyVision的价值在于将“看懂世界”拆解为22个可测量、可诊断、可迭代的原子能力，为多模态与具身智能（embodied AI）补齐视觉短板提供了明确的路线图[3][29][35][61] - 评测突显了补强视觉地基对于实现真正通用智能与具身智能的必要性，即需要“看得准、追得住、想得出、归纳得了”[28][60] - 该评测属于红杉中国xbench双轨评估体系中的AGI Tracking赛道，用于追踪模型的AGI演进进程[1][30][33][62] xbench评估体系介绍 - xbench采用双轨评估体系，分为AGI Tracking赛道与Profession Aligned赛道，旨在同时追踪模型的理论能力上限与其在真实世界中的经济与实用价值[1][30][33][62] - 该体系采用长青评估机制，通过持续维护并动态更新测试内容以确保时效性和相关性[30][62] - xbench在AGI Track首期发布了科学问题解答测评集（xbench-ScienceQA）与中文互联网深度搜索测评集（xbench-DeepSearch），BabyVision是其多模态评估集，后续将发布面向Agent指令遵循的AgentIF等评测集[31][63] - xbench此前已构建面向招聘和营销领域的垂类Agent评测框架，后续计划发布覆盖生物技术、金融、法律等场景的垂类评测集[32][64]

文章核心观点 - 红杉中国xbench与UniPat AI团队联合发布名为BabyVision的全新多模态理解评测集 旨在量化评估大模型的基础视觉原子能力 揭示其与人类在“看懂世界”上存在的巨大差距 [1] - 评测结果显示 当前顶尖多模态大模型的视觉理解能力普遍低于3岁儿童 表明模型存在“系统性缺基础视觉能力”的问题 而非单一缺陷 [2][4][13] - 视觉问题的核心挑战在于其“unspeakable”特性 即无法在不丢失信息的情况下被完整语言化 模型试图将视觉信息压缩为文本token会导致关键细节丢失 从而无法进行真正的视觉推理 [14][15] - 研究团队提出通过生成式视觉推理（如画图、描线）可能是补齐模型视觉短板的一个方向 并为此开发了BabyVision-Gen评测集进行探索 [26][27][28] - BabyVision的价值在于将复杂的“看懂世界”能力拆解为22个可测量、可诊断的原子视觉任务 为多模态大模型的未来发展提供了明确的迭代与改进方向 [9][32] 评测背景与设计理念 - 该评测属于红杉中国xbench双轨评估体系中AGI Tracking赛道下的多模态评估集 旨在追踪模型的AGI演进进程 [1] - 评测设计核心理念是量化那些“人类直觉就会、但构成智能地基”的视觉原子能力 这是具身智能走向现实世界的必修课 [9] - 为避免模型通过语言推理走捷径 评测严格控制语言依赖 题目要求简单 答案必须依靠视觉信息本身得出 [2] 评测数据集构建 - 研究团队参考儿童认知教材和视觉发育测验 梳理出4大类共22种基础视觉子任务 [9] - 通过逆向图像搜索和关键词搜索从互联网爬取约4000张候选图片 并严格筛选版权合规、不含大量文字或需文化常识的素材 [9] - 经过专业人员人工标注、设计问题与答案 并进行“双盲质检” 最终产出388道高质量视觉题目 [10] 视觉能力分类 - 视觉能力被提炼为四大核心类别：视觉模式识别（4个子任务）、精细辨别（8个子任务）、视觉追踪（5个子任务）、空间感知（5个子任务） [9][11] 评测结果分析 - 人类基线测试（16位至少本科背景者）在388道题上的准确率达到94.1% [13] - 闭源最强模型Gemini3‑Pro‑Preview的准确率为49.7% 是唯一稳定超过3岁儿童基线的模型 但距离6岁儿童仍差约20个百分点 [4][13] - 开源侧最强模型Qwen3VL‑235B‑Thinking整体准确率为22.2% 多数模型准确率在12–19%区间 [13] - 模型在四大类视觉能力上表现均落后 差距并非集中在单一类别 属于系统性缺陷 [13] - 在某些子任务上模型几乎“全员翻车” 例如Count 3D Blocks任务普遍表现偏低 [13] 模型面临的核心挑战 - **挑战1：无法处理“非语言细节”** 在拼图/补全等任务中 模型将形状用语言概括会抹平像素级的细微差异 导致选项在token空间里变得“几乎一样” [16][17] - **挑战2：视觉追踪能力薄弱** 在连线/轨迹题中 人类本能地沿线追踪 而模型将线翻译为离散的方位步骤 遇到交叉点容易“换轨”追错线 [8][20] - **挑战3：缺乏真正的空间想象** 在三维方块计数等任务中 人类在脑中构建3D结构 而模型缺少稳定的3D内部表征与变换能力 容易漏掉隐藏块或搞错投影关系 [21][23] - **挑战4：图形规律归纳困难** 在视觉模式归纳任务中 人类抽象的是关系映射与变换规则 而模型容易误读为表面属性的统计 导致迁移时产生幻觉规则 [24][26] 生成式视觉推理的探索 - 研究团队推出BabyVision‑Gen评测集 从原基准中标注出280道适合“生成式作答”的题目 要求模型输出图像或视频来表达解题过程或答案 [26][27] - 开发了自动评测工具 与人工评测的一致性达到96% [27] - 初步结论显示 生成式推理在视觉追踪、精细辨别等任务上出现了“更像人类”的行为（如画轨迹、做标注） 但整体仍缺乏稳定到达完全正确解的能力 [28] - 这表明将视觉推理“落地到视觉操作”可能是补齐模型视觉短板的一条潜在路径 [28] 评测的意义与行业影响 - 视觉能力是通用智能与具身智能走向现实世界的基础 很难想象视觉能力低于3岁孩子的机器人能在真实物理世界中可靠地帮助人类 [32] - BabyVision将“看懂世界”拆解为可测量、可诊断、可迭代的22个原子能力 明确了当前多模态大模型的差距所在 为行业下一步发展提供了引导 [32] - 展望2026年 世界模型与视觉多模态预计将迎来新一轮突破性进展 此次评测旨在迎接并参与新一轮技术突破的到来 [1]