Workflow
从单张图像生成灵活视角3D场景技术
icon
搜索文档
单张照片生成360°3D场景,支持灵活视角漫游|人大&北师大&字节
量子位· 2025-03-28 18:01
FlexWorld团队 投稿 量子位 | 公众号 QbitAI 从单张图像生成灵活视角3D场景的技术来了,在考古保护、自主导航等直接获取3D数据成本高昂或不可行的领域具有重要应用价值。 这一任务本质上是高度不适定的:单一的2D图像无法提供足够的信息来消除完整3D结构的歧义,尤其是在极端视角(如180°旋转)下,先前 被遮挡或缺失的内容可能会引入显著的不确定性。 生成模型,特别是扩散模型,为解决这一问题提供了一种潜在的技术路径。尽管现有方法通常依赖预训练的生成模型作为新视角合成的先验, 但它们仍面临显著挑战。 例如,基于图像的扩散方法容易累积内容误差,基于视频的扩散方法则难以处理可能生成的动态内容构建静态3D场景的影响。最近的研究尝 试通过在视频扩散模型中引入点云先验来提升一致性,虽然取得了一定进展,但在可扩展性方面仍存在局限,尤其是在大视角变化下的表现有 待提升。 针对上述问题,人大高瓴李崇轩、文继荣团队、北师大王一凯团队与字节跳动的研究员提出了一种新方法FlexWorld,用于从单张图像生成灵 活视角的3D场景。 与现有方法不同,FlexWorld通过合成和整合新的3D内容,逐步构建并扩展一个持久的3D表示 ...