Workflow
Meta announces new AI model that can generate video with sound

公司新产品发布 - Meta发布名为Movie Gen的新型人工智能模型 该模型可根据用户提示生成逼真的视频和音频片段 并声称其可与OpenAI和ElevenLabs等领先媒体生成初创公司的工具相媲美 [1] - Movie Gen能够生成与视频内容同步的背景音乐和音效 用户还可以使用该模型编辑现有视频 例如在视频中为沙漠中奔跑的男子手中插入彩球 或将滑板场地从干燥地面变为有水坑 [1] - 由Movie Gen生成的视频最长可达16秒 音频最长可达45秒 盲测数据显示 该模型在与Runway、OpenAI、ElevenLabs和Kling等初创公司产品的比较中表现良好 [2] - 公司目前不太可能像其Llama系列大语言模型那样向开发者开放Movie Gen 而是直接与娱乐界和内容创作者合作 并计划在明年将其整合到Meta自有产品中 [3] 行业动态与竞争格局 - 好莱坞正积极探索如何利用生成式AI视频技术 微软支持的OpenAI于今年2月首次展示了其产品Sora可根据文本提示生成类似故事片的视频 [2] - 娱乐行业的技术人员渴望使用此类工具来增强和加速电影制作 但也有人担心这些系统可能是在未经许可的情况下使用受版权保护的作品进行训练的 [2] - OpenAI今年一直在与好莱坞高管和经纪人会面 讨论涉及Sora的潜在合作伙伴关系 但尚未有达成协议的报道 [4] - 狮门娱乐公司于9月宣布 将向AI初创公司Runway开放其电影和电视库用于训练AI模型 作为回报 该工作室及其电影制作人可使用该模型来辅助工作 [5] 技术实现与数据来源 - 根据研究论文 Meta使用混合了授权和公开可用的数据集来构建Movie Gen模型 [4] - 该模型的示例创作展示了动物游泳和冲浪的视频 以及使用人物真实照片来描绘他们进行绘画等动作的片段 [1]