Workflow
AnimeReward
icon
搜索文档
Index-AniSora:B站开源动画生成模型,斩获多项SOTA入选IJCAI25
机器之心· 2025-05-19 12:03
开源动画视频生成模型 Index-AniSora - 公司开源动画视频生成模型 Index-AniSora 支持番剧、国创、漫改动画、VTuber、动画 PV、鬼畜动画等多种二次元风格视频镜头一键生成 [1] - 该模型基于 AniSora 技术框架实现 是首个专为二次元视频生成打造的技术框架 全面提升动画内容生产效率与质量 [2] - 模型支持将漫画一键转换为动画效果 告别"PPT动画" 支持多种小众画风 [3] 技术原理与功能 - 通过高效数据处理链路构建超过千万条高质量文本-视频对 包含大量不同风格、类型、内容的高质量动画数据 [19] - 开发统一扩散生成框架 引入时空掩码机制 支持图生视频、插帧补全和局部控制等任务 实现对角色口型、动作乃至局部区域的精细控制 [19] - 设计首个面向动画视频的专用评估基准 涵盖多个二次元子类型 填补现有自然视频评估体系空白 [19] - 基于 VLM 模型进行定向优化 使其更好理解动漫语境与 ACG 审美 构建更贴合创作者需求的自动化视频评估系统 [19] 模型版本与性能 - AniSoraV1.0 基于 CogVideoX-5B 基座模型训练 支持视频局部区域引导控制、时序引导控制 4090 可部署 覆盖 80% 应用场景 [43] - AniSoraV2.0 基于 Wan2.1-14B 基座模型训练 效果更稳定 覆盖 90% 应用场景 采用蒸馏加速方案提升推理性能 支持国产芯片华为 910B 高效分布式训练 [43] 数据集与评估系统 - 构建包含 30,000 条人工标注样本的高质量奖励数据集 涵盖六个关键维度的人类偏好标注:视觉平滑度、运动感、视觉吸引力、文本一致性、图像一致性与角色一致性 [47] - 设计 AnimeReward 奖励模型 针对不同维度特征引入专门视觉-语言模型 提出差距感知偏好优化算法(GAPO) 通过显式建模正负样本间偏好差距强化奖励信号 [49] - 开源基于动画数据优化的 Benchmark 系统 专门为动画视频生成领域研发自动化评测系统及标准测试数据集 更符合 ACG 审美要求 [45]