研究核心观点 - 多模态大语言模型的模态跟随行为并非静态属性，而是由案例特定的相对推理不确定性和模型稳定的固有模态偏好共同作用的动态过程[1] - 传统的宏观模态跟随统计数据具有误导性，因其混淆了模型的能力和偏好[1] - 模型跟随某一模态的概率会随着该模态相对推理不确定性的增加而单调递减，这一法则在测试的六个模型中普遍存在[5][19] 研究团队与贡献 - 主要作者来自北京大学、华南理工大学、佐治亚大学、KAUST和MBZUAI等机构[3] - 核心贡献包括构建新的可控玩具数据集，以及提出将模态跟随行为解耦为相对推理不确定性和固有模态偏好的分析框架[4] 框架设计：可控数据集与不确定性度量 - 构建了可通过视觉难度和文本难度两个独立设计等级系统控制模态推理复杂性的数据集[9][10] - 采用输出熵作为以模型为中心的不确定性度量指标，熵值随设计难度增加而一致上升[11] - 引入相对单模态不确定性指标，通过（文本熵减视觉熵）除以（两者之和）并归一化来计算，量化模型在每个冲突案例中的置信度差距[12] 传统指标的局限性 - 使用传统宏观指标（如文本跟随率TFR和视觉跟随率VFR）测试6个MLLM时，发现了令人困惑的组合模式，暴露了宏观指标的局限性[14] - 相似的难度感知下，模型可能表现出相反的宏观偏好；而宏观偏好相似的模型，其难度感知可能相反，这共同指向传统指标混淆了数据集伪影和固有模态偏好[15][16] 实验新范式与主要发现 - 设计新实验范式，以相对不确定性为横轴，文本跟随概率为纵轴绘制偏好曲线，成功解耦能力与偏好[18] - 所有被测试模型都展现出文本跟随概率随文本相对不确定性增加而单调递减的统一法则[19][21] - 将曲线穿过50%概率线的点定义为平衡点，作为量化固有模态偏好的原则性指标[22] - 平衡点框架成功解释了宏观指标下的矛盾：LLaVA和Qwen2.5-VL的固有偏好不同，而Qwen2-VL和Qwen2.5-VL的差异揭示了数据集伪影的影响[23][24] 内部决策机制 - 当相对不确定性接近模型的平衡点时（模糊区域），模型内部的逐层预测会在冲突答案间表现出强烈的振荡，而在清晰区域则迅速确定答案[29][30][34] - 模糊区域内冲突输入的振荡次数显著高于清晰区域和无关冲突情况，为模型外部的犹豫不决行为提供了机制性解释[33][34]