金磊 整理自 凹非寺 量子位 | 公众号 QbitAI 一个新的Benchmark，竟让大模型在 复杂 视频推理 这事儿上 统统不及格！ 这就是腾讯ARC Lab和香港城市大学最新推出的 Video-Holmes —— 如其名，它可以说是视频推理界的 "福尔摩斯测试" ， 通过让多模态大模型参与 " 推理杀人凶手 " , " 解析作案意图" 等高难度的推理任 务，以展现他们复杂视频推理能力的边界 。 而且Video-Holmes可以说是规避了现在业内已有的Benchmark痛点，即视频源和问题都偏简单，没法反映推理模型和非推理模型之间的差 距。 值得一提的是，这个Benchmark的 "一键测评懒人包" ，目前已经上线到了GitHub和HuggingFace，有做视频推理相关的小伙伴，可以去挑 战一下了（地址见文末）。 让大模型全军覆没的新Benchmark 正如刚才提到的，现有视频推理基准（如 VCR-Bench、MVBench 等）主要评估模型的视觉感知和接地能力。 举个例子 。 在这个例子中，为了寻找男人真正的死因，模型需要 主动思考 需要关注的视觉信息，并通过 逻辑关联 分散在不同视频片段中的多个相关 ...