Workflow
尺度级联掩码引导方法
icon
搜索文档
ICCV 2025 | RobustSplat: 解耦致密化与动态的抗瞬态3DGS三维重建
具身智能之心· 2025-08-20 08:03
编辑丨 机器之心 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 3DGS (3D Gaussian Splatting) 技术凭借在新视角合成与 3D 重建中实现的实时照片级真实感渲染,已成为研究热点。然而,现有方法在建模含动态物体的场景时精 度不足,常导致渲染图像出现伪影。 在最近的一项研究中,来自中山大学、深圳市未来智联网络研究院、港中深的研究者提出鲁棒性解决方案 RobustSplat,其核心设计包含两点:一是首创延迟高斯 生长策略,在允许高斯分裂 / 克隆前优先优化静态场景结构,从而减少优化初期对动态物体的过拟合;二是设计尺度级联掩码引导方法,先利用低分辨率特征相 似度监督进行可靠的初始动态掩码估计(借助其更强的语义一致性与抗噪声特性),再逐步过渡到高分辨率监督,以实现更精准的掩码预测。 研究动机 我们通过分析揭示了高斯致密化 (densification) 在 3D Gaussian Splatting 中的双重作用机制。具体来说,致密化过 ...
ICCV 2025 | RobustSplat: 解耦致密化与动态的抗瞬态3DGS三维重建
机器之心· 2025-08-19 17:45
3DGS技术研究进展 - 3DGS技术在新视角合成与3D重建中实现实时照片级真实感渲染,但现有方法在建模含动态物体场景时精度不足,常导致渲染图像出现伪影[2] - 研究者提出RobustSplat解决方案,其核心设计包含延迟高斯生长策略和尺度级联掩码引导方法,前者优先优化静态场景结构,后者通过低分辨率特征相似度监督实现可靠初始动态掩码估计[2] 研究动机与方法 - 高斯致密化在3DGS中具有双重作用,既能增强场景细节表达,也会促使模型过早拟合动态区域导致伪影[6] - 研究动机源于通过调节致密化过程引入时机,平衡静态结构表达与动态干扰抑制,提出延迟高斯生长策略[8] - 采用含两层线性层的MLP作为网络架构,以DINOv2特征为输入输出瞬态掩码,因其在语义一致性和抗噪性方面表现优异[9][10] 技术实现细节 - 掩码MLP优化结合图像残差损失和特征余弦相似度损失,前者捕捉像素级动态干扰,后者增强语义级动态区域识别[12] - 延迟高斯生长策略推迟高斯致密化过程,优先完成静态场景结构优化,并通过掩码正则化减少静态区域误分类风险[13] - 尺度级联掩码引导先利用低分辨率特征相似性监督进行初始瞬态掩码估计,再过渡到高分辨率监督实现更精确预测[14] 实验结果 - 在NeRF On-the-go和RobustNeRF数据集上,RobustSplat在PSNR、SSIM、LPIPS等指标上全面领先基线方法[16] - 具体数据表现:在Android场景PSNR达24.62,SSIM 0.831;Crab2场景PSNR 34.88,SSIM 0.940;Yoda场景PSNR 35.14,SSIM 0.944[17] - 平均表现PSNR 29.36,SSIM 0.895,优于3DGS的26.21/0.864和WildGaussians的27.07/0.876[17] 研究总结 - 高斯致密化过程虽提升场景细节捕捉能力,但会生成额外高斯建模瞬态干扰,导致渲染伪影[19] - RobustSplat通过延迟高斯生长和尺度级联掩码引导有效减少瞬态物体导致的渲染伪影,在复杂场景中实现鲁棒且细节丰富的3D重建[21]