Video-Bench 视频评估框架，能够通过模拟人类的认知过程，建立起连接文本指令与视觉内容的智能评估体系。 简单地说，能够让多模态大模型（MLLM）"像人一样评估视频"。 实验结果表明，Video-Bench不仅能精准识别生成视频在物体一致性（0.735相关性）、动作合理性等维度的缺陷，还能稳定评估美学质量等 传统难题，显著优于现有的评估方法。 Video-Bench团队 投稿 量子位 | 公众号 QbitAI 视频生成技术正以前所未有的速度革新着当前的视觉内容创作方式，从电影制作到广告设计，从虚拟现实到社交媒体，高质量且符合人类期望 的视频生成模型正变得越来越重要。 那么，要如何评估AI生成的视频是否符合人类的审美和需求呢？ Video-Bench的研究团队来自上海交通大学、斯坦福大学、卡内基梅隆大学等机构。 Video-Bench：基于MLLM的自动化视频评估框架 Video-Bench团队在面对已有的视频评估方法时，发现了两个问题： 1.简单的评分规则往往无法捕捉视频流畅度、美学表现等复杂维度—— 那么，当评判"视频质量"时，如何将人类出于"直觉"的模糊感受转化为可量化的评估指标？ 2.现有基于大语 ...

Video-Bench团队 投稿 量子位 | 公众号 QbitAI 视频生成技术正以前所未有的速度革新着当前的视觉内容创作方式，从电影制作到广告设计，从虚拟现实到社交媒体，高质量且符合人类期望 的视频生成模型正变得越来越重要。 那么，要如何评估AI生成的视频是否符合人类的审美和需求呢？ Video-Bench 视频评估框架，能够通过模拟人类的认知过程，建立起连接文本指令与视觉内容的智能评估体系。 简单地说，能够让多模态大模型（MLLM）"像人一样评估视频"。 实验结果表明，Video-Bench不仅能精准识别生成视频在物体一致性（0.735相关性）、动作合理性等维度的缺陷，还能稳定评估美学质量等 传统难题，显著优于现有的评估方法。 Video-Bench的研究团队来自上海交通大学、斯坦福大学、卡内基梅隆大学等机构。 Video-Bench：基于MLLM的自动化视频评估框架 Video-Bench团队在面对已有的视频评估方法时，发现了两个问题： 1.简单的评分规则往往无法捕捉视频流畅度、美学表现等复杂维度—— 那么，当评判"视频质量"时，如何将人类出于"直觉"的模糊感受转化为可量化的评估指标？ 2.现有基于大语 ...

MME-VideoOCR团队 投稿 量子位 | 公众号 QbitAI 多模态大模型（MLLM）在静态图像上已经展现出卓越的 OCR 能力，能准确识别和理解图像中的文字内容。 然而，当应用场景从静态图像拓展至 动态视频 时，即便是当前最先进的模型也面临着严峻的挑战。 MME-VideoOCR 致力于系统评估并推动MLLM在视频OCR中的感知、理解和推理能力。 主要贡献如下： 构建精细的任务体系： 高质量、大规模数据集： 包含了 1,464 个精选视频片段，覆盖不同的分辨率、时长与场景。 构建了 2,000 条高质量、经人工标注的问答对，确保评测的精确性。 揭示当前 MLLM 的能力边界与局限： 研究背景 视频作为一种信息密度更高、场景更复杂的模态，其 OCR 任务的难度远超静态图像： 1 运动模糊、光影变化、视角切换以及复杂的时序关联 等视频的动态因素，都对 MLLM 的视频文字识别构成了显著的障碍。 2 视频中的 文字信息形式复杂多样 ，既可能出现在画面主体、背景场景，也可能以屏幕注释、水印或弹幕的方式存在。这要求模型能够建立 稳定的时空视觉-文本关联，以实现对分布在不同位置与时间段文字信息的准确识别、整合与 ...