Video Motion Evaluation

搜索文档
AI视频是否符合物理规律,量化基准来了,实现人类感知对齐 | 阿里高德/中科院出品
量子位· 2025-03-20 18:56
西风 发自 凹非寺 量子位 | 公众号 QbitAI 测一测现有AI生成视频是否符合物理运动规律! 来自阿里-高德、中科院的研究人员提出一个 面向感知对齐的视频运动生成基准 。 名为 VMBench ,是首个开源的运动质量评测基准,通过整合运动评估指标与 人类感知对齐 的评测方法,揭示现有模型在生成物理合理 运动方面的不足。 △ 图1 VMBench的整体结构 新基准测试涵盖了六种主要的运动模式类别,每个提示都构建为围绕三个核心组件 (主体、地点和动作) 的综合运动。 作者提出了一种新颖的多维视频运动评估方法,包含五个源自感知偏好的以人类为中心的质量指标。利用由流行的T2V模型生成的视频进行 了系统的人类评估,以验证其指标在捕捉人类感知偏好的有效性。 总体而言,VMBench具有以下几大优势: 此外,团队已将VMBench代码及相关资源开源至GitHub。 以下是更多细节。 感知对齐的评估体系 视频动态生成的评估面临两大核心挑战: 现有指标 未能充分对齐人类感知 ,且 评测提示的多样性有限 ,导致模型动态生成潜力未被充分探索。 为此,团队提出VMBench——首个融合感知对齐指标与多样化动态类型的视频运动评测 ...