视觉语言模型的偏见问题 - 核心观点：视觉语言模型(VLMs)并非真正"看"图像，而是依赖记忆中的先验知识进行判断，导致对反常识图像的识别错误[19][20][38] - 实验证据：当展示6根手指图片时，包括GPT-4、Gemini-2.5 Pro、Claude 3.7等主流模型100%错误识别为5根[40][45][63] - 机制分析：模型通过高频关联建立强先验知识（如"阿迪达斯=三条纹"），当视觉输入与常识冲突时优先选择记忆而非真实观察[54][55][64] 行业应用风险案例 - 工业质检：AI可能将罕见零件缺陷误判为光学误差，导致安全隐患[72][73][74] - 医疗领域：肺癌筛查等医疗诊断仍需医生复核AI判断，显示可靠性存疑[77] - 自动驾驶：对非常规交通场景（如异常数量行人）的识别可能失效[77] 技术局限性数据 - 品牌标识测试：修改阿迪达斯条纹数量后，所有模型仍坚持回答3条[39][40] - 动物肢体测试：5腿狮子/3脚鸟等异常图片识别准确率仅2%[43][45] - 国旗测试：美国国旗条纹数识别错误率达92%（模型回答13条vs实际12/14条）[47] 底层机制解释 - 数据训练方式：模型通过吸收数百亿张图片建立关联记忆而非理解[50][51] - 决策冲突：视觉模块与知识模块产生矛盾时，后者权重显著更高[63][65] - 干预无效：明确要求模型"仅根据图片回答"仅提升2%准确率[67][68]