技术概述与核心创新 - 提出名为Grasp Any Region (GAR)的新型区域多模态大模型(MLLM)，旨在实现对自然图像中用户指定区域的细粒度、可交互式理解[2] - 模型核心设计原则是既要实现对提示区域的细粒度理解，同时保留并利用整个场景的全局上下文，解决了传统Region MLLMs在局部细节与全局信息之间的两难困境[25][28] - 引入两个全新组件：简洁高效的提示编码机制，以及创新性的区域对齐特征回放技术，通过视觉编码器生成全局特征图，并利用RoI-Align技术提取高保真度局部特征[25][27] 模型核心能力 - 具备精准描述用户指定区域的能力，能够基于色彩、纹理、形状、材质等基础属性进行客观评测，例如正确识别青蛙样式的拖鞋而非误判为青蛙[5][8][9] - 能够建模多个区域之间的关系并进行复杂的组合推理，例如判断多个提示是否在镜子当中，或综合理解物体间的复杂关联[5][18] - 可对极小物体进行精准识别，并利用极小的图像细节正确建模物体之间的关系，在示例中能准确判断人物是拿着书而非在看书，凸显细节理解能力之强[11][14][16] - 模型能力可零样本迁移至视频描述任务，能够精准识别视频中的物体、人物与动作，进行语义层次的深度分析，甚至识别运动信息[21][23][24] 技术实现与数据构建 - 采用多阶段流程生成大规模、高质量训练数据集：首先利用种子数据集和ImageNet-21K构建45.6万条细粒度描述数据，再结合Panoptic Scene Graph数据集生成关联感知型数据[30][31][32] - 最终训练数据包含三部分：细粒度描述数据、关联感知型描述及问答对、以及选择题，本阶段最终构建出含414K样本的关联数据集[30][35] - 在模型架构中，用户指定的二值掩码经卷积块处理后生成mask embedding，与ViT的patch embedding相加完成空间信息与视觉特征的融合[27] 性能表现与基准测试 - 在GAR-Bench-VQA测试集上，GAR-8B模型取得59.9分的综合成绩，表现超过GPT-4o的53.5分，直逼o3的61.3分和Gemini-2.5-Pro的64.2分[38][39] - 在GAR-Bench-Cap测试集上，GAR-1B与GAR-8B分别取得57.5分和62.2分的最高综合成绩，超过Gemini-2.5-Pro的59.3分[41] - GAR-1B模型尽管参数量远小于其他模型，但其综合得分为50.6分，性能超过了InternVL3-78B等大规模公开模型，在纹理维度得分达到69.0分[39] - 在Ferret-Bench与MDVP-Bench上的零样本表现优异，GAR-8B在MDVP-Bench的自然图像任务中取得178.6分，大幅超过所有竞品模型[43][44] - 在VideoRefer-Bench测试中，zero-shot的GAR-8B甚至优于in-domain训练的VideoRefer-7B模型，取得72.0分的总体成绩[46][47] 应用前景与行业价值 - 可作为多模态理解模型的预训练数据生成工具，为训练提供精细的图像/视频描述[47] - 能辅助文生图或文生视频模型理解复杂的用户指令，提升模型对于复杂文本的指令遵循能力[47] - 可作为细粒度编辑模型的数据来源，提供针对待编辑区域的精准描述[47] - 可天然作为奖励模型，为多模态理解任务的后训练阶段提供准确的区域理解奖励信号[47] - 团队已将论文、代码和模型全部开源，并支持基于gradio的本地部署，降低了行业应用门槛[47][48][49]

文章核心观点 - 行业提出BEAR基准以系统评估多模态大语言模型在具身智能领域的各项子能力 涵盖6大类14个细粒度技能 [4][8][9] - 行业测评发现当前多模态大模型在具身智能任务上整体表现不佳 最优模型GPT-5成功率仅为52% [11] - 行业基于错因分析开发了BEAR-Agent智能体 通过提供工具和辅助线显著提升模型在基准测试和仿真环境中的表现 [17][21] BEAR基准概述 - BEAR基准包含4,469个图片-视频-文字的VQA问题 旨在系统评估MLLM的具身智能子能力 [8] - 基准涵盖5个基础类别和1个长程推理类别 包括给点、给检测框、空间推理、任务规划等 共细分为14个技能 [8][9] - 该基准首次将具身智能任务切分为以技能划分的步骤 便于进行细粒度的错因分析 [9] 测评实验结果 - 行业全面测量了20个不同的MLLM 发现闭源模型通常优于开源模型 但部分开源模型如InternVL系列展现出潜力 其表现超过了GPT-4o和Claude等模型 [11] - 实验表明Chain-of-thought提示策略在闭源模型的给点和空间推理等子能力上起到一致的负面作用 过度推理会引入干扰 [13] - 在GPT-4o的错因分析中发现 模型视觉全能能力不足是多个类别的主要瓶颈 3D能力不足和长程推理中底层感知与空间推理的错误占比高达88% [15][19] BEAR-Agent性能提升 - BEAR-Agent可显著提升模型性能 使GPT-5在BEAR基准上的平均成功率从52.17%提升至61.29% [20] - 对于开源模型InternVL3-14B BEAR-Agent将其平均成功率从33.93%提升至36.24% [20] - 在桌面操作环境的仿真测试中 BEAR-Agent将MOKA的表现提升了20.17% 显示出其对具身智能体的实际应用潜力 [21]

研究背景与问题 - 多模态大语言模型在视觉理解和跨模态推理等任务上表现出强大能力，但其视觉编码器存在对抗脆弱性，容易受到对抗样本的攻击[2] - 在无法访问内部参数的黑盒场景下，尤其是针对GPT-4、Claude-3等闭源商业模型，现有对抗攻击方法的迁移效果显著下降[3][8] - 现有方法仅对齐全局特征而忽略图像补丁中的局部信息，导致特征对齐不充分和迁移能力受限[3][10] 方法创新：FOA-Attack框架 - 提出特征最优对齐攻击框架，核心思想是在全局和局部两个层面实现特征的最优对齐[3][6] - 全局层面通过余弦相似度损失对齐粗粒度的全局特征，避免宏观语义偏差[6][13] - 局部层面创新性地使用聚类技术提取关键局部特征模式，并将其建模为最优传输问题，实现细粒度精准对齐[6][14] - 设计动态集成权重策略，在攻击生成过程中自适应平衡多个替代模型的影响，避免优化偏向单一模型特征[6][11][15] 实验效果：开源模型 - 在Qwen2 5-VL-3B模型上攻击成功率达到52 4%，显著高于M-Attack的38 6%[18] - 在Qwen2 5-VL-7B模型上攻击成功率为70 7%，语义相似度达到0 58[18] - 在LLaVa-1 5-7B和LLaVa-1 6-7B模型上攻击成功率分别达到79 6%和78 9%[18] - 在Gemma-3-4B和Gemma-3-12B模型上攻击成功率为38 1%和35 3%，全面超越现有方法[18] 实验效果：闭源模型 - 对GPT-4o模型的攻击成功率高达75 1%，语义相似度为0 59[19] - 对Claude-3 5和Claude-3 7模型的攻击成功率分别为11 9%和15 8%[19] - 对Gemini-2 0模型的攻击成功率达到53 4%，语义相似度为0 50[19] - 在所有闭源商业模型上的表现均显著优于现有最佳方法M-Attack[19] 实验效果：推理增强模型 - 对GPT-o3推理增强模型的攻击成功率达到81%，语义相似度为0 63[21] - 对Claude-3 7-thinking模型的攻击成功率为16%[21] - 对Gemini-2 0-flash-thinking-exp模型的攻击成功率为57%[21] - 结果表明推理增强模型的视觉编码器仍存在脆弱性，FOA-Attack能有效利用这一漏洞[21] 研究意义与影响 - 该方法揭示了当前多模态大语言模型在视觉编码阶段的脆弱面，为防御方向提供了新思路[24] - 论文与代码已公开，便于学术界和工业界进行复现和深入研究[4][25] - 研究团队来自新加坡南洋理工大学、阿联酋MBZUAI、新加坡Sea AI Lab以及美国伊利诺伊大学香槟分校等知名机构[27]

行业技术发展新方向 - 多模态大语言模型在视觉与语言融合的感知与推理任务中展现出强大能力[1] - 研究焦点从离线静态场景理解转向在线动态场景理解，更贴近真实世界应用[3] - OST-Bench基准通过“移步换景”的动态在线视角，为模型能力提出新挑战[1][3] 新基准的核心特点与设计 - 基准设计包含在线设定和跨时空理解两大核心特点，模型需在增长观测中实时感知并结合历史信息推理[3] - 将动态场景理解划分为智能体空间状态、智能体可见信息、智能体-物体空间关系三大信息类别[7] - 基于三类信息设计了15个子任务，覆盖判断、估算、计数、时间定位四类题型[7] - 通过规则生成加人工筛选，构建了包含10k测试集数据和50k训练集数据的大规模基准[7] 主流模型性能评估 - 当前主流多模态大模型与人类水平存在显著性能差距，人类水平平均准确率达83.5%，而最佳模型GPT-4.1为53.4[9][10] - 在具体任务表现上，模型在智能体可见信息任务上相对较好，最佳达76.5，但在智能体-物体空间关系任务上表现最差，仅为37.7[10] - 开源模型中Intern VL-2.5-78B表现最佳，平均准确率达51.1，接近部分商用模型水平[9][10] 模型能力短板分析 - 模型准确率随探索步数增加持续下降，暴露出现有范式难以适应长时序在线设定的缺陷[12] - 专门的空间增强模型如Spatial-MLLM、VLM-3R等未带来预期提升，在部分任务上反而出现明显退步[12][13] - 模型存在“时空推理捷径”现象，倾向于就地猜测而非真正进行时空整合推理[14][15] 技术突破方向 - 复杂线索条件下的空间推理能力不足与长期记忆检索机制薄弱是当前模型的两大关键限制因素[18] - 微调实验显示模型分数可提升超过10%，但复杂时空推理任务准确率仍难以突破50%[21] - 微调带来的提升更多是“题海战术式的熟练”而非“机制上的理解进步”，需要更强的模型设计或训练策略[21]

研究背景与基准概述 - 多模态大语言模型在视觉与语言模态融合的感知与推理任务中已展现出强大能力，但面临真实世界动态场景的新挑战[2] - 由上海人工智能实验室、上海交通大学、香港大学、香港中文大学的研究者提出的OST-Bench，从智能体探索场景的动态在线视角出发，为大模型能力提出新挑战[2] - 相比离线/静态的空间智能基准，OST-Bench更精准地反映了具身感知在真实世界中的核心挑战，其代码和数据均已开源[2][6] 基准核心特点与设计 - 基准模拟现实世界中人类“移步换景”的有限视野探索过程，智能体需依赖连续输入的局部观测完成在线感知、记忆维护与时空推理[5][7] - 传统空间智能评测多为离线、固定输入长度，而OST-Bench具有两大核心特点：在线设定（模型需在增长观测中实时感知）和跨时空理解（需结合当前画面与历史信息）[7][10] - 研究团队将动态场景理解划分为三大信息类别：智能体空间状态、智能体可见信息、智能体-物体空间关系，并基于此设计了15个子任务，覆盖判断、估算、计数、时间定位四类题型[8] - 基准包含基于规则生成加人工筛选的10k条测试集数据（覆盖1.4k个场景）以及用于微调的50k条训练集数据（覆盖7k个场景）[8] 主流模型性能评估 - 当前主流多模态大模型与人类存在显著性能差距，暴露出跨时空信息推理的能力短板[13][14][17] - 在专有模型中，GPT-4.1整体平均得分最高为53.4%，Claude-3.5-Sonnet为47.8%，GPT-4o为48.7%[14] - 在开源模型中，InternVL-2.5-78B表现最佳，整体平均得分为51.1%，InternVL-2.5-38B为50.8%[14] - 人类水平基准整体平均得分高达83.5%，显著高于所有测试模型，而随机猜测水平为36.9%[14] 模型能力深度分析 - 模型的准确率随着探索步数的增加持续下降，说明现有范式难以适应长时序的在线设定[17] - 模型存在“时空推理捷径”现象：面对复杂问题时更倾向于就地猜测而非进行真正的时空整合推理[18] - 针对性的跨视角推理测评表明，复杂线索条件下的空间推理能力不足与长期记忆检索机制薄弱是模型准确率受限的两大关键因素[20][21] - 专门设计的空间增强模型（如Spatial-MLLM、VLM-3R和LLaVA-3D）与其基座模型相比没有显著提升，反而在部分任务上明显退步[16][17] 微调实验效果评估 - 基于5万条问答数据对多种模型进行微调后，所有模型的分数均提升了超过10%，证明微调确实有效[23] - 然而，真正涉及复杂时空推理的任务仍难以突破50%的准确率，说明单纯微调不能触及问题本质[23] - 微调后的模型在部分题型上呈现“背答案”倾向而非真正理解，且容易变得不听话，无法稳定遵守格式对自己的答案进行解释[23] - 现象表明微调带来的提升更像是“题海战术式的熟练”，而非“机制上的理解进步”[23] 行业意义与发展方向 - OST-Bench通过多模型评估揭示了当前模型在面对“在线时空理解”任务时的深层短板[24] - 突破复杂空间推理能力与长期记忆机制，将是下一代多模态模型迈向真实智能世界的关键一步[24] - 该基准为未来模型的发展指明了方向，在导航、移动操控等具身任务领域具有重要应用价值[7][24]

多模态大语言模型几何推理研究突破 - 多模态大语言模型在视觉问答和图像描述任务中广泛应用，但现有方法依赖模板生成图像-文本对，存在泛化能力有限和视觉-文本信息不对齐问题 [1] - UIUC团队提出基于强化学习与可验证奖励(RLVR)的数据生成框架Geo-Image-Textualization，并发布首个完全对齐的高质量几何图像-文本数据集GeoReasoning-10K，包含1万对精心构建的图像与描述 [2] - 该框架具有强泛化性，训练后的模型不仅能处理几何任务，还能泛化至算术、代数、数值推理等非几何任务，甚至处理非几何图像输入 [8] 数据集与代码开源 - 研究团队已公开GeoReasoning-10K数据集及相关代码，数据集地址为https://huggingface.co/datasets/ScaleMath/GeoReasoning，代码地址为https://github.com/MachinePhoenix/GeoReasoning [3][5] - 论文标题为"Generalizable Geometric Image Caption Synthesis"，论文链接为https://arxiv.org/abs/2509.15217 [5] 框架核心优势 - 生成样本由模板集字句组合而成，可以组合出任意复杂度的几何题，展现出卓越的可扩展性 [8] - 经过GeoReasoning训练过的模型在下游任务上性能超过其他同类型数据集，并且具有良好的缩放性质，体现高质量特性 [8] 实验验证结果 - 在MathVista和MathVers数学推理基准测试中，GeoReasoning-10K在相同数据量下均取得最优效果，展现出卓越的数据质量与扩展性 [12] - 使用GeoReasoning-10K微调后的Gemma3-4B模型在MMMU测评基准上显著提升多项能力 [14] - 具体样例显示模型能成功解决几何问题（如圆的角度计算）和算术问题（如车辆数量比较） [17][19] 研究意义与应用前景 - 该框架通过确保视觉和文本信息的完全对齐，不仅提升了模型在几何问题上的表现，还实现了向更广泛数学领域的泛化 [21] - 给几何图片写标题能增强AI的整体数学推理能力，为多模态AI在教育、科学计算等领域的应用铺平道路 [21]

文章核心观点 - 大型基础模型（LFMs）为自动驾驶轨迹预测带来了范式转变，从传统的信号级预测转向语义级推理，通过整合语言和情境知识提升了对复杂交通场景的理解能力 [1] - 基于LLM的方法在轨迹预测中展现出三大核心优势：强大的语义推理能力、对长尾场景的卓越泛化能力以及多模态信息的深度融合能力，显著提高了预测的可解释性和安全性 [11][20] - 尽管优势显著，该技术在实际应用中仍面临计算延迟高（自回归解码延迟常超过100毫秒，难以满足车辆控制周期低于50毫秒的严格要求）、数据稀缺以及真实世界鲁棒性等关键挑战 [20] 轨迹预测技术演变 - 轨迹预测技术经历了从基于物理模型和机器学习方法，到深度学习方法，再到当前以大型基础模型为主导的演变过程 [4][8] - 传统方法（如卡尔曼滤波器、高斯过程）计算高效但难以处理复杂交互场景，深度学习方法（端到端架构）能自动提取时空特征并生成多模态概率输出，但存在计算需求高、可解释性差等局限 [8][9] - 强化学习方法在交互场景建模和长期预测方面表现出色，但训练过程复杂且不稳定，存在“黑盒”问题 [9] 基于LLM的轨迹预测关键方法 - **轨迹-语言映射**：通过提示工程将轨迹数据编码为结构化文本（如“自车速度：12m/s”），或利用轨迹离散化技术（如VQ-VAE）将连续轨迹映射为离散符号序列，使LLM能够理解运动行为 [12] - **多模态融合**：设计共享的场景编码器（如BEV编码器）将图像、LiDAR点云和地图信息映射为统一表示，再与语言指令进行交叉注意力融合，典型框架包括DiMA和DrivingGPT [12] - **基于约束的推理**：利用LLM的常识知识，通过链式思维提示和规则注入（如交通规则）使轨迹生成过程透明且合规，例如CoT-Drive将预测分解为场景解析、交互分析等多步骤 [13] 实验基准与性能评估 - **主流数据集**：行人预测广泛使用ETH/UCY数据集，车辆轨迹预测则以Waymo Open Motion Dataset（WOMD）、nuScenes和Argoverse为主流基准，新兴数据集如nuPlan专注于闭环规划与预测的协同评估 [16] - **核心评估指标**：车辆轨迹预测主要关注L2距离（预测终点与真实终点的欧氏距离）和碰撞率，行人预测则主要使用minADE和minFDE（计算K=20个预测值中的最佳结果） [17] - **性能对比**：基于LLM的方法在关键指标上显著优于传统深度学习方法，例如DriveVLM-Dual在NuScenes数据集上的平均碰撞率仅为0.1%，而传统方法如UniAD为0.37% [18] 未来研究方向 - 发展超低延迟推理技术（如非自回归解码）以满足实时控制需求，解决当前自回归解码延迟超过100毫秒的问题 [21] - 构建面向运动的基础模型，通过大规模轨迹预训练提升模型的运动语义理解与生成能力 [21] - 推进世界感知与因果推理模型的研究，使轨迹预测建立在因果机制之上，而不仅仅是关联模式 [21]

数据集核心创新 - 提出ECD合成图表数据集 包含10,000+图表和321.5k问答对 规模与多样性超越同类数据集[6][10][12] - 采用模块化五阶段数据合成流水线 涵盖单图生成、多子图组合、视觉多样化等环节 确保数据真实性与复杂性[15][16] - 实现252种子图组合和29种图表类型 覆盖经济学/天文学/医学等25个学科主题 为当前最广覆盖范围[12] 性能表现 - 在6个测试集评估中 ECD训练使开源MLLM模型性能显著提升：LLaVA-Next推理准确率从4.74%升至16.50% Phi-3-Vision平均准确率从31.41%提升至44.40%[17][23] - ECDBench基准测试显示 GPT-4o mini达到最高平均准确率67.24% 显著优于Claude-3.5-Sonnet(55.07%)和GPT-4o(52.90%)[22][23] - 合成数据质量指标突出：最低FID得分表明与真实图表分布最接近 最高像素熵反映更高信息复杂度[13] 技术优势 - 问答对由GPT-4o自动生成并经过置信度过滤 包含描述类与推理类问题 例如差异比较问题(如"数字广告收入差异300M")[10][11] - 多子图组合采用条件顺序生成机制 保证语义一致性 支持2行3列/3行3列等复杂布局[12][16] - 视觉多样化引入Seaborn绘图库 添加注释/阴影/Zoom-in视窗等元素 提升视觉丰富度[16] 行业应用价值 - 解决现有合成数据集风格单一/缺乏真实性/数据模式受限三大痛点 为科研/新闻报道领域提供高真实性图表数据[4] - ECDBench基准包含1,224张图表和2,448对QA 为多模态推理和科学AI助手提供标准化评估体系[21][24] - 显著提升开源MLLM在ChartQA/ReachQA/ChartX等基准测试表现 推动图表自动化生成技术发展[17][25]

核心观点 - X-SAM是首个统一的分割多模态大语言模型，将分割范式从「分割万物」扩展到「任意分割」，实现了像素级视觉理解能力的突破 [4] - 通过创新的视觉定位分割（VGS）任务和统一架构设计，X-SAM在20+数据集上达到最先进性能，覆盖7种分割任务 [4][19] - 模型采用三阶段渐进式训练策略和数据集平衡重采样技术，显著提升少样本数据集的性能 [16][17] 背景与动机 - Segment Anything Model (SAM)依赖单一视觉提示输入，多模态大语言模型(MLLMs)无法处理像素级任务，限制了通用模型发展 [4] - X-SAM通过赋予MLLMs像素级理解能力，解决了传统模型在开放场景视觉感知中的根本性限制 [4] 方法设计 架构设计 - 采用双编码器设计：SigLIP2-so400m提取全局特征，SAM-L提取细粒度特征，通过像素重排和MLP投影实现特征融合 [14] - 分割连接器提供多尺度信息（1/32、1/16、1/8尺度），Mask2Former解码器替换SAM原始解码器 [12][15] - 输入支持文本查询（通用/指代/推理分割）和视觉查询（点/涂鸦/边界框），输出采用<SEG>标记统一表示 [7][8][13] 训练策略 - 三阶段训练：1)分割器微调（COCO-Panoptic数据集） 2)对齐预训练（LLaVA-558K数据集） 3)混合微调（多数据集协同） [16] - 数据集平衡重采样策略：通过超参数t控制过采样比例，改善少样本数据集（0.2K样本）性能 [17] 实验结果 性能对比 - 指代分割任务：RefCOCO/+/g测试集达到85.1/78.0/83.8，超越GLaMM(79.5/72.6/74.2)和PSALM(83.6/72.9/73.8) [23] - 对话生成分割：mIoU指标达69.4（Val）/69.0（Test），显著优于GLaMM-7BT(65.8/64.6) [23] - 视觉定位分割：点提示AP50达72.5，较PSALM(3.3)提升20倍 [23] 多模态能力 - 图文理解任务：SEED-Bench(69.3)、POPE(89.3)、AI2D(62.6)分数全面领先LLaVA-1.5等基线模型 [23] 未来方向 - 视频领域扩展：与SAM2集成实现图像/视频统一分割，引入时序信息构建视频分割新任务 [27] - 技术应用前景：为通用视觉理解系统奠定基础，开辟开放场景感知研究新方向 [27]

核心观点 - RoboTwin 2.0是一个可扩展的仿真框架，旨在解决双臂机器人操作中数据生成和仿真环境简化两大挑战，通过自动生成多样化且逼真的数据提升策略鲁棒性[2] - 该框架引入五个维度的结构化域随机化（杂乱程度、光照、背景、桌面高度和语言指令），显著增强数据多样性和策略泛化能力[4] - 在50个双臂任务中预收集超过10万条域随机化专家轨迹，覆盖五种机器人实体，实证显示代码生成成功率提高10.9%，真实任务性能提升367%[4] 方法创新 自动专家代码生成 - 结合多模态大语言模型(MLLMs)与仿真闭环优化，通过代码生成agent和视觉-语言模型观察者的双AI agent架构实现迭代优化[10] - 在10项任务评估中，RoboTwin 2.0+MM FB配置达到71.3%的成功率，较基础版本提升23.9个百分点[27] 域随机化设计 - 场景杂乱：基于147类别731个标注物体的RoboTwin-OD库生成语义丰富的干扰场景[12] - 光照变化：随机化色温、光源类型（点光源/区域光源）等参数模拟现实光照条件[13] - 语言指令：通过MLLMs自动生成多样化任务指令和物体描述，覆盖几何/外观/部件级属性[13] 实体感知适应 - 为不同自由度机器人（7-DoF/6-DoF）定制抓取策略，使低自由度平台成功率提升13.5%-22.7%[29] - 通过标注物体关键点轴信息（抓取点/功能点）支持跨实体部署，平均任务成功率提高8.3%[16][31] 数据集与基准 RoboTwin-OD物体库 - 包含147类别731个实例，其中534个通过RGB到3D重建生成，均标注语义和操作相关标签（放置点/抓取轴）[18] 预收集数据集 - 覆盖50项双臂任务和5种机器人实体，包含10万+轨迹（每任务100条干净轨迹+400条随机化轨迹）[24] 性能验证 - 仿真到现实迁移：添加1,000条RoboTwin 2.0合成轨迹使现实任务成功率最高提升33个百分点[36] - 基准测试显示预训练模型（如RDT）在Hard条件下保持优势，非预训练模型性能下降显著[37]