Workflow
视频生成
icon
搜索文档
CVPR 2025 Tutorial:从视频生成到世界模型 | MMLab@NTU团队&快手可灵等联合呈现
量子位· 2025-06-05 16:32
视频生成技术进展 - 图像生成技术已广泛应用于日常生活 视频生成技术从最初的"抖动幻影"跃升为能讲故事、控制动作、进行长时推理的高质量动态内容[1] - 可灵、Sora、Genie、Cosmos、Movie Gen等模型突破不断拓宽视频生成边界 研究者开始探讨视频生成能否成为通往世界模型的桥梁[2] - 视频生成技术已初步展现对时空一致性、视觉因果链的建模能力 并可能发展为交互式世界模型[6] 世界模型研究方向 - 研究重点转向如何将视频生成作为视觉先验 赋能AI感知世界、理解交互、推理物理 迈向更具具身智能能力的世界模型[3] - 学术界与产业界研究者将探讨生成建模、3D理解、强化学习与物理推理 将生成能力转化为感知、预测与决策的智能基座[4] - 视频生成技术可能帮助理解物体交互 捕捉人类行为背后的物理与语义因果 从生成走向交互式世界模型[6] CVPR 2025教程安排 - 教程将探讨基础世界模型规模化作为实现具身AGI的路径 由Google DeepMind科学家Jack Parker-Holder主讲[5] - 斯坦福大学博士生Hong-Xing "Koven" Yu将分享基于物理的世界模型在生成、交互与评估方面的研究[5] - Luma Al首席科学家Jiaming Song将讨论从推理优先视角突破预训练算法天花板[5] - Kling Al视频生成负责人Pengfei Wan将介绍可灵模型及更强大视频生成模型的研究进展[5] - 加州大学伯克利分校助理教授Angjoo Kanazawa将探讨面向智能的4D世界理解[5] - 纽约大学助理教授Sherry Yang将分享面向具身学习的生成式世界建模[5] 行业应用前景 - 视频生成技术不仅是内容输出工具 更是通向感知-建模-推理-决策一体化世界模型的入口[6] - 该领域对关注视频生成与多模态理解、具身AI、机器人交互智能、生成式世界建模与物理推理的研究者具有重要价值[7]
本周日不见不散!CVPR 2025北京论文分享会最后报名了
机器之心· 2025-06-03 16:57
AI视频生成技术 - 谷歌发布新一代AI视频生成模型Veo 3 首次实现音画同步 被评价为不亚于OpenAI Sora的跨时代产品 标志着AI视频进入"有声时代" [1] - 视频生成领域从无声进化到有声 多模态领域向理解与生成大一统方向演进 [2] CVPR 2025论文分享会 - 会议将于6月8日在北京举办 聚焦多模态和视频生成等热门主题 邀请顶级专家和论文作者交流 [2] - CVPR 2025共收到13008份论文投稿 接收2878篇 整体接收率22.1% [2] - 设置Keynote、论文分享、圆桌对话、Poster交流等环节 全日程和嘉宾信息已公布 [2][4][10][12][14] 论文分享环节 - 腾讯混元高级算法研究员周子翔分享《Multi-modal driven human animations》[4] - 阿里巴巴高德地图算法专家熊峰分享《HumanRig: Learning Automatic Rigging for Humanoid Character》[4] - 北京大学博士生张霖分享《OmniManip: Towards General Robotic Manipulation》[4] - 中科院张泽锋分享《Debiasing Multimodal Large Language Models》[4] - 国防科技大学唐熠杰分享《OnlineAnySeg: Online Zero-Shot 3D Segmentation》[4] Keynote演讲 - 中科院计算所高林研究员分享基于混合表达与生成模型的可视媒体合成与编辑方法 涵盖高斯泼溅技术进展和视频生成模型应用 [10][12] - 北航黄雷副教授从表征和学习视角探讨多模态大模型的统一建模 介绍课题组在统一建模方面的研究进展 [14] 圆桌讨论 - 主题为"迈向理解与生成统一的多模态大模型" 邀请北航黄雷、BIGAI黄思远、Sand.AI张拯三位专家参与 [16][20][22][24] 合作伙伴计划 - 腾讯青云计划聚焦AI大模型等十大技术领域 提供高薪和核心业务机会 [27] - 京东TGT计划面向青年技术人才 聚焦多模态大模型与应用等前沿课题 提供三导师培养机制 [28]
全日程公布|谷歌Veo 3惊艳发布后,这场CVPR分享会值得每个AI人「听个声」
机器之心· 2025-05-27 14:38
AI视频生成技术进展 - 谷歌发布新一代AI视频生成模型Veo 3,实现了高质量视频生成与音画同步功能,被评价为不亚于OpenAI Sora的跨时代产品,标志着AI视频进入"有声时代"[1] - AI社区通过架构创新和算力投入持续推动技术进步,视频生成领域从无声进化到有声,多模态领域向理解与生成大一统方向演进[2] 学术会议规模与质量 - CVPR 2025作为计算机视觉领域最重要国际会议之一,共收到13008份论文投稿,最终接收2878篇论文,整体接收率为22.1%[2] 技术研究专题与演讲嘉宾 - 中国科学院大学教授高林将分享基于混合表达与生成模型的可视媒体合成与编辑方法,介绍高斯泼溅技术的最新进展及其在数字人实时重光照等应用[8][10] - 北京航空航天大学副教授黄雷将从表征和学习视角探讨多模态大模型的统一之路,分析条件概率模型在建模任意问题的可行性[12] - 论文分享环节涵盖多模态驱动的人类动画、大规模人形角色自动绑定、通用机器人操作、长时视频理解、3D分割和视觉语言理解等多个前沿研究方向[4] 行业人才计划与资源投入 - 腾讯青云计划聚焦AI大模型等十大技术领域,提供不设上限的职级薪酬和定制化培养方案,开放核心业务机会和解锁前瞻性技术课题[17] - 京东TGT计划面向全球高校技术人才,依托京东丰富的产业布局,研究涵盖多模态大模型与应用、机器学习、具身智能等方向,提供充足算力资源和三导师培养机制[18] 行业交流平台与合作机会 - 黄大年茶思屋科技网站作为开放平台汇聚全球科学家和研究人员,推动科技创新交流[16] - 机器之心成功举办多场学术活动,为企业提供人才吸纳和品牌影响力提升的合作机会[20]
Veo3逼真脱口秀火爆全网,视频生成的GPT时刻到了吗?
第一财经· 2025-05-26 11:02
Veo 3技术特点 - Veo 3新增原生音频生成功能,可同步生成环境音和人物对话,突破视频生成的"无声时代"[4] - 模型实现真正原生多模态,文字生成动画同时自动完成音乐、音效、配音和对口型,大幅简化工作流程[7] - 视频生成质量显著提升,光线处理、人物神态和长镜头运动具有电影质感,但存在LOGO显示错误等一致性瑕疵[4][12] - 对复杂物理现象的推断能力是其逼真效果的核心,谷歌通过严格数据质量管理优化模型性能[10][11] 市场应用与成本效益 - 商业应用案例显示,传统50万美元的广告制作可被500美元Veo 3积分替代,成本降低约1000倍[7] - AI制作电影成本估算为9万美元/3小时,相比好莱坞传统制作便宜10-20倍[10] - 个人创作者使用Veo 3生成1.5分钟短片成本约70美元(6000-7000积分),但成片率受文生视频不可控性影响[16] - 订阅成本高昂,商业用户需支付每月249.99美元套餐费(前三月优惠价124.99美元),额外积分按1.5美元/8秒计费[16] 行业影响与局限性 - 技术被视为AI影像工作流雏形,可能颠覆传统影视制作模式,类似数码相机终结柯达垄断的变革[10] - 当前主要适用于文生视频场景,但行业主流工作流依赖图生视频,导致实际生产应用受限[15] - 中文支持不足,存在台词丢失、对话主体混乱等技术缺陷,8秒视频容量达到对话上限[14] - 谷歌凭借YouTube数据资源优势持续优化模型,但行业普遍认为尚未达到"GPT时刻"级突破[12][17] 创作者评价 - 专业创作者肯定其效率提升价值,但指出视频生成质量"低于预期",与国内第一梯队产品图生效果相当[3][15] - 现阶段工具更适合氪金玩家或商业项目,普通用户面临价格门槛和技术瑕疵双重限制[17] - FLOW剪辑工具的推出预示AI影像新工作流可能性,但完全替代传统流程仍需长期迭代[4][15]
鹅厂开源视频生成大杀器!参考图主体精准复刻,还能编辑现有视频
量子位· 2025-05-09 15:03
产品功能 - 公司开源"自定义"视频生成模型HunyuanCustom,主打主体一致性功能,用户仅需一张图片即可确定视频主角,一致性评分达到开源模型SOTA水平[1] - 模型支持单主体参考、多主体参考、局部编辑、角色配音四大功能,其中单主体参考已上线并开源,其余功能计划本月内开源[2][3] - 团队正在与开源社区合作,将适配AI创作者常用的ComfyUI[4] 技术表现 - 在单主体视频定制任务中,HunyuanCustom在身份一致性(Face-Sim)和主体相似性(DINO-Sim)两个指标上分别达到0.627和0.593,超过所有baseline方法[39] - 人物特征保持方面表现优异,包括五官、发色、服饰等细节特征在不同场景下都能保持一致[8][10] - 支持局部视频编辑功能,可对已有视频中的特定对象进行替换[29][30][32] - 支持音频驱动功能,可生成口型匹配的视频,但当前语音合成仍存在机械感问题[35][36][37] 技术架构 - 模型以文生视频模型HunyuanVideo为基础,针对不同任务类型配备相应模块[45] - 图像驱动任务采用LLaVA文本-图像交互模块和身份增强模块,增强对输入图像身份信息的理解和融合[46][47][50] - 音频驱动部分采用身份解耦的AudioNet模块,确保音频条件不影响人物身份一致性[53][54][56] - 视频驱动部分采用视频条件注入策略,通过特征叠加方式保留视频条件中的时空信息[58][59][61] - 训练过程中采用Flow Matching框架优化视频生成模型,并引入辅助损失函数实现多任务学习[67][68][69] 系统要求 - 目前支持720P画质,需要支持CUDA的英伟达GPU[42] - 生成720P视频最少需要24GB显存,推荐配置为80GB显存[43][44]
昆仑万维:一季度营收大幅增长46% AI算力芯片取得突破性进展
证券时报网· 2025-04-29 10:00
财务表现 - 2025年一季度公司实现营业收入17.6亿元,同比增长46% [1] - 研发费用4.3亿元,同比增长23% [1] - AI音乐年化流水收入ARR达1200万美金(月流水100万美金),短剧平台Dramawave年化流水ARR达1.2亿美金(月流水1000万美金) [1] - 海外业务收入16.7亿元,同比增长56%,占营收比重提升至94% [1] - Opera收入同比增长41% [4] AI技术突破 - 多模态推理模型Skywork R1V达到开源SOTA水平 [2] - 视频生成领域SkyReels-V1模型与SkyReels-A1算法位居全球领先,后者实现技术突破性SOTA [2] - AI音乐领域Mureka V6与全球首款融合CoT技术的Mureka O1形成组合优势,Mureka O1登顶行业SOTA [2] AI算力芯片进展 - 控股AI算力芯片企业北京艾捷科芯,完成"算力基础设施—大模型算法—AI应用"全产业链布局 [3] - 攻克多项核心技术难关,整体研发进度过半,向量产迈进 [3] - 艾捷科芯员工数量接近200名,覆盖芯片设计、算法研发、系统集成等专业领域 [3] AI产品规划 - 计划2025年5月中旬在海外发布全球首款生产力场景通用Agent平台Skywork.ai [3] - Skywork.ai包含五大专家级AI Agent,覆盖专业文档、数据表格、演示文稿、播客及网页内容优化 [3] - 支持跨模态内容创作,可高效生成MV、宣传片、有声读物、互动绘本等多媒体内容 [3] 业务战略 - 全球化战略成效显著,国际化布局持续深化 [1] - 未来将持续推进AI算力芯片研发及AI应用矩阵落地 [4]