余家辉交卷!Meta MSL连发图像/视频模型

核心观点 - Meta公司通过其MSL团队发布了新的图像模型Muse Image和视频模型Muse Video,标志着其在生成式AI领域的一次重要回归[1] - Muse Image采用了独特的“Agentic Image Generation”路径,强调思考与规划,而非直接出图,并与大语言模型Muse Spark深度联动以完成复杂创作[7][15][19] - 新模型在性能基准测试中表现强劲,Muse Image在多个图像生成榜单中位列第二,Muse Video在文生视频榜单中位列第三,显示出强大的竞争力[3][4][5] 模型性能与市场地位 - Muse Image性能:在Arena AI Leaderboard的多个榜单中均位列第二[3] - 在Text-to-Image Arena榜单中,得分为1280分,仅次于OpenAI的GPT Image 2(1385分)[4] - 在Single-Image Edit Arena榜单中,得分为1405分,仅次于GPT Image 2(1466分)[4] - 在Multi-Image Edit Arena榜单中,得分为1399分,仅次于GPT Image 2(1454分)[4] - Muse Video性能:在文生视频(Text-to-Video Arena)榜单中位列第三,得分为1459分,排在谷歌Gemini Omni Flash(1527分)和字节跳动Seedance 2.0(1482分)之后,进入第一梯队[4][5] Muse Image的技术特点与功能 - Agentic工作流程:模型收到需求后,会先拆解梳理创作思路,调用工具辅助(如联网获取最新素材),生成后进行复盘和迭代修改,确保画面逻辑与细节[8][9][12] - 与Muse Spark联动:可与大语言模型Muse Spark协同工作,例如分工协作编写网页交互代码和生成视觉素材,输出完整的互动网页,超越静态图片创作[19] - 多模态输入与编辑:支持多参考图像合成,可将用户照片、风景照、参考穿搭等元素结合生成新图[20][21];提示词支持图文混合输入[22];编辑功能支持多轮修改而不失真[24] - 社交图谱集成:支持在提示词中@ Instagram公开账号的好友或商家,拉取其公开照片进行创作或生成同风格营销图[26][27][28];内置个性化创作模板,可在Instagram端一键调用[29];该功能被称为“Native Social Context”[32] - 质量与隐私:模型推理思考时间越长,最终画面质量越好,呈现接近对数线性的提升曲线[17];生成内容包含无法通过裁剪、压缩、截图去除的“Content Seal”隐形水印[34];Instagram用户可选择禁止他人使用自己的公开照片进行AI创作[33] Muse Video的技术特点 - 技术基础:与Muse Image基于同底座训练,具有高视觉保真度、原生支持音频、在提示词理解和时间一致性方面有竞争力[36] - 待改进领域:音画同步和高速运动场景的物理准确性仍需改进,计划在未来几个月推出[37] 团队背景 - 核心领导:MSL首席科学家、Muse全系列底层总负责人为赵晟佳,拥有清华本科和斯坦福博士学位,曾任职于OpenAI并参与从初代ChatGPT到o3的预训练,于2025年6月加入Meta[40][42][43] - 项目负责人:本次发布的Muse Image和Muse Video由MSL多模态负责人余家辉带队研发,其出身中科大少年班,拥有UIUC博士学位,曾担任谷歌Gemini多模态视觉联合负责人和OpenAI感知团队负责人,于2025年6月加入Meta[44][46][47]

余家辉交卷!Meta MSL连发图像/视频模型 - Reportify