背景与动机 - 当前视觉语言模型（VLMs）在空间推理任务中存在显著不足，如物体位置/大小比较、多视角关系理解等[3] - 现有数据集存在三大局限：场景单一性（集中于室内/室外场景）、指令格式受限（仅支持自然语言或区域掩码）、多视角监督缺失（超90%为单图推理）[3] InternSpatial数据集 - 规模与结构：包含1200万QA对（950万单视图+250万多视图），覆盖5类场景（自然场景、室内、街景、物体中心、具身导航）[3] - 指令多样性：支持19种指令格式，显著优于对比数据集[3] - 视觉格式：提供原始图/带边界框图/掩码图/编号物体图等多种形式[4] - 文本格式：包含自然语言/带<ref>标记/坐标引用等，新增246万QA对的多视角旋转角度预测任务[6] InternSpatial-Bench评估基准 - 单视图诊断：包含6,008 QA对，涵盖位置比较(1845)、大小比较(1822)、旋转估计(409)、物体计数(899)、存在性估计(1000)五类任务[7] - 多视图扩展：在VSI-Bench新增1,000个旋转角度预测QA对[7] 数据引擎设计 - 采用三阶段自动化流水线：注释生成（复用现有注释或SAM2生成掩码）、视角对齐（构建标准3D坐标系）、模板化QA生成（预定义任务模板动态填充）[9] 关键实验结果 - 空间推理性能：InternVL-Spatial-8B模型在单视图任务中位置比较提升25%，多视图任务中物体计数提升17%（68.7 vs 51.7）[9][10] - 多任务表现：在物体计数、绝对距离、物体大小等7项任务中平均得分52.3，较基线提升10.7分[10] - 指令格式鲁棒性：训练后不同格式间准确率差距从23%缩小至5%以内[12] 当前不足 - 模板局限性：自动生成的QA对难以完全复现自然语言复杂度，部分描述机械化[12] - 开放推理欠缺：集中于结构化空间关系，缺少开放式场景推理（如物体运动轨迹解释）[12]

核心观点 - 蚂蚁技术研究院联合中科院自动化所和香港中文大学开源ViLaSR-7B模型，通过"Drawing to Reason in Space"范式实现空间推理能力突破，在5个基准测试中平均提升18.4% [1][2][3] - 模型在VSI-Bench基准上达到45.4%准确率，与Gemini-1.5-Pro相当，显著超越Qwen2.5-VL-7B等开源模型（+12.7%）[4][26] - 采用三阶段训练框架（冷启动+反思拒绝采样+强化学习）系统化培养空间推理能力，强化学习使绘图操作效率提升159.4% [21][22][23][24][29] 技术突破 推理范式创新 - 提出"边看边画、边画边想"的交互式视觉推理范式，通过绘制辅助标注（参考线/标记框）保留空间信息，解决传统"视觉转文本"范式信息丢失问题 [17][20] - 相比OpenAI的"Thinking with Images"范式，ViLaSR支持多图场景下的连贯空间推理，动态追踪跨帧变化关系 [8][17][20] - 传统LVLMs因视觉编码器压缩丢失时空信息，ViLaSR在迷宫导航任务中准确率提升64.5%（达98.2%）[10][11][25] 训练方法 - 冷启动阶段：合成数据训练基础绘图操作能力（标注边界框/辅助线）[22] - 反思拒绝采样：筛选含修正行为的高质量样本，使反思行为频率提升9.1% [23][29] - 强化学习阶段：通过双奖励机制（结果+格式）优化操作策略，数值类任务性能提升9.21% [24][29] 性能表现 基准测试 - 迷宫导航（MAZE）：98.2%（超越GPT-4o 35.1个百分点）[25] - 静态图像理解（SpatialEval-Real）：63.9%（优于LLaVA-NeXT-Video-72B）[25] - 多图像推理（MMSI-Bench）：30.2%（较SpaceR-7B提升3.3%）[25] 类人能力 - 参考物度量推理：主动识别已知尺寸物体进行比例换算 [30] - 跨帧对象追踪：系统性标注多帧中相同物体建立时空关联 [32] - 案例显示模型可自主修正错误路径，推理步骤减少4.07% [29][33] 行业影响 - 为机器人导航、虚拟助手等空间智能应用奠定技术基础 [34] - 突破视觉语言模型在多图/视频场景的时空关联限制，推动多模态推理向高效性发展 [16][34] - 开源模型ViLaSR-7B代码及论文已公开，加速行业技术迭代 [35]

视觉语言模型（VLM）技术突破 - 视觉语言模型正经历从「感知」到「认知」的关键跃迁，实现多模态交互的全新可能 [1][2] - 传统VLM依赖文本token间接翻译视觉信息，导致在高清图像微小物体、视频动态细节等场景中表现不足 [2] - 研究团队提出「像素空间推理」范式，将推理战场从文本空间拓展到像素空间，实现原生视觉操作 [2][3] 像素空间推理的核心优势 - 模型可自主触发视觉变焦、时空标记等原生操作，在像素矩阵上直接完成闭环推理，避免信息衰减 [6] - 视觉主导推理机制使模型能捕捉传统方法难以处理的空间关系与动态细节，如具身视觉导航、复杂视频理解等场景 [6] - 打破文本对视觉语义的「翻译牢笼」，实现与人类视觉认知同构的推理能力 [7] 学习陷阱与激励机制 - 指令微调模型面临「认知惰性」挑战，表现为负面反馈循环和路径依赖惯性 [8] - 研究团队设计内在好奇心激励配合外在正确性激励的强化学习方案，鼓励模型练习视觉操作 [9][10] - 通过像素推理率约束和操作效率约束，在探索与计算成本间找到平衡 [10][11] 性能表现与行业影响 - 基于Qwen2.5-VL-7B构建的Pixel-Reasoner在四大视觉推理基准测试中表现优异：V* Bench 84.3%准确率，超越GPT-4o和Gemini-2.5-Pro [13][15] - 在TallyQA-Complex、InfographicsVQA、MVBench等测试中均实现显著性能提升，展现「小模型大能力」特性 [19][20] - 像素空间推理为VLM开启「第二思维通道」，推动多模态模型真正理解世界复杂性 [21]

多模态大模型视觉推理能力评测 - 核心观点：多模态大模型在细粒度视觉理解与空间推理任务中存在明显瓶颈，特别是处理高分辨率交通图时表现不佳[2][6] - 西湖大学等团队推出首个高分辨率交通图评测基准ReasonMap，聚焦结构化空间信息理解[3][5] ReasonMap基准设计特点 - 高分辨率挑战：测试图像平均分辨率达5839×5449，远超现有视觉任务标准[10] - 难度感知设计：为图像设置难度标签并均衡分布问答对[11] - 多维度评估体系：除准确性外还评估路径合理性、换乘策略等[12] - 半自动化标注流程：支持题目难度调控和多样化问题模板，覆盖单线直达、多线换乘等场景[13] 模型性能表现 - 闭源模型显著领先：GPT-o3在短/长问题中加权准确率达63.02%/59.11%，远超开源模型Qwen2.5-VL-72B的26.65%/24.22%[17] - 城市差异明显：北京、杭州地铁图难度最高，测试样本分别达40/39个[9] - 强化学习模型优势：经过RL训练的闭源模型在路径规划正确性上比通用模型高15-20个百分点[15][17] 技术突破方向 - 视觉编码能力：高分辨率图像处理仍是技术瓶颈，开源模型平均准确率不足30%[6][17] - 跨线路推理：模型普遍存在视觉混淆和站点遗漏问题，尤其在多线换乘场景[6][18] - 真实场景适配：当前模型与人类思维模式存在差距，需优化空间关系理解[12][19] 行业影响 - 评测标准革新：ReasonMap成为判断模型视觉-空间推理能力的核心基准工具[19] - 技术路线分化：闭源体系通过强化学习后训练建立显著优势，开源生态需突破计算效率瓶颈[15][17] - 应用场景拓展：该研究为自动驾驶、机器人导航等需要复杂空间推理的领域提供评估框架[5][13]

视觉语言大模型的空间推理能力 - 当前视觉语言大模型（VLMs）在大规模图文数据中学习到的空间信息是片段化的，仅限于静态视角的理解，缺乏多维度、多视角的空间推理能力 [1] - 面对需要多视角空间推理的任务时，模型表现不佳，缺乏空间感与换位思考能力 [2][20] - 具备稳健的空间推理能力与视角理解能力的AI系统才能成为与人类协作的智能体 [3] ViewSpatial-Bench基准体系 - 研究团队提出首个系统评估VLM多视角多任务下空间定位能力的基准体系ViewSpatial-Bench，涵盖五种任务类型，覆盖相机和人类双重视角 [4][7] - 基准包含5700个问答对，通过自动化3D标注流水线生成精确方向标签，覆盖丰富3D场景 [4][16] - 五大任务包括：物体相对方向识别、人物视线方向识别（相机视角），以及从人类视角出发的三类任务（物体相对方向识别、人物视线方向识别、场景模拟的相对方向识别） [9][10][11][12][13][14] 主流模型的表现评估 - 评估显示GPT-4o、Gemini 2.0等主流模型在空间关系理解上表现不足，整体准确率不高 [19] - 模型在摄像头视角下的人物面朝方向判断任务平均准确率仅为25.6%，远低于物体相对方向判断的38.9%，但在人物视角下趋势反转 [22] - 大多数模型在人物视角任务上表现略优于摄像头视角，如GPT-4o在人物视角平均准确率为36.29%，高于摄像头视角的33.57% [25] Multi-View Spatial Model（MVSM） - 研究团队开发MVSM专门用于跨视角空间理解优化，采用自动化空间标注框架生成约43000个高质量样本 [27][28] - MVSM相比骨干模型Qwen2.5-VL实现46.24%的绝对性能提升，验证针对性训练的有效性 [5][28] - 在VSI-App评估中，MVSM在室内场景表现提升20%，户外场景提升4.00%，展示处理动态轨迹和人机交互场景的能力 [32] 研究意义与未来方向 - ViewSpatial-Bench和MVSM为多模态模型空间理解能力提供系统评估工具，重构视角采择建模方式 [33] - 研究揭示当前训练语料在视角分布上存在结构性不平衡，为未来数据构建和模型优化指明方向 [26] - 更聪明的空间感知是下一代机器人与多模态助手的关键一步 [34]

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 推理token减少80%-90%，准确率变化不大，某些任务还能增加。 Zoom团队提出思维链替代品"草稿链"，显著降低延迟和算力成本。 原理很简单，要求模型为每个推理步骤生成简洁、信息密集的token。 这一思路受到人类解题过程启发，人类通常不会详细阐述每一个细节，只是简单几下关键的中间结果，作为草稿来辅助思考。 此外，草稿链方法简单且易于实现，不需要修改模型、微调或强化学习，只需更新提示词中的示例即可，相关代码和数据已在GitHub上开 源。 研究团队认为，与另一种降低延迟和计算成本的方法"在连续潜空间推理"相比，草稿链保留了可解释性，且可以应用于闭源的黑盒模型。 第三方分析测算，对于每个月处理100万个推理请求的企业， 可以将成本从思维链的3800美元降低到760美元，每月节省超过3000美元。 实验遵循原始思维链论文，评估3类任务：算术推理、常识推理和符号推理。 算数推理任务选择GSM8k数据集，从准确率看，标准提示下GPT-4o和Claude 3.5 Sonnet的准确率分别仅53.3%和64.6%，思维链使两者均 超95%，草稿链也达到91%左右 ...