人脸置换

搜索文档
ICCV 2025 | 小红书AIGC团队提出图像和视频换脸新算法DynamicFace
机器之心· 2025-08-12 11:10
核心观点 - 小红书AIGC团队提出DynamicFace方法,通过扩散模型与3D人脸先验的深度融合,解决了视频人脸交换中的身份一致性和运动一致性问题 [5][6][7] - 该方法在影视、游戏、自媒体与电商三大场景具有广泛应用潜力,可实现降本增效和沉浸式体验升级 [6] - 实验结果显示DynamicFace在身份保持和运动一致性方面优于现有6种主流换脸方法,ID Retrieval达到99.20,Eye Consistency仅0.16 [23][24] 技术原理 - 采用可组合三维面部先验的显式条件解耦,将人脸条件分解为身份、姿态、表情、光照及背景五个独立表征 [9] - 设计身份-细节双流注入机制,通过Face Former和ReferenceNet分别保证全局身份一致性和细粒度纹理迁移 [10][11] - 开发即插即用时序一致性模块FusionTVO,通过分段加权融合和总变差约束解决长视频帧间跳动问题 [12] 行业应用 - 影视行业:通过数字替身实现"先拍脸、后拍景"的拍摄流程,降低补拍成本 [6] - 游戏行业:支持玩家自拍生成360°可旋转角色,配合语音驱动实现NPC口型情绪同步变化 [6] - 自媒体与电商:品牌代言照可批量生成不同角度的口播视频,虚拟主播实现7×24小时自然表情直播 [6] 性能对比 - 定量实验显示DynamicFace在FaceForensics++和FFHQ数据集上全面超越对比方法 [23] - ID Retrieval指标达99.20,显著优于第二名SimSwap的98.50 [23] - Eye Consistency指标0.16,优于其他方法最佳成绩0.22 [23] - 定性对比显示基于GAN的方法身份一致性差,其他扩散模型方法运动一致性不足 [21][22]