3D高斯泼溅技术优化 - 三维高斯泼溅（3D Gaussian Splatting）是当前3D视觉领域最常用的算法之一，可实现实时高质量渲染，但存在冗余高斯点问题，单个重建场景可能包含数百万个高斯点 [1] - 冗余高斯点降低了训练和渲染速度，并导致显著的内存消耗 [2] MaskGaussian创新方法 - 上海AI Lab研究团队提出MaskGaussian，将掩码融合进光栅化过程，首次为被使用和未被使用的高斯同时保留梯度 [2] - MaskGaussian支持从头开始训练和对现有高斯进行微调，在不影响重建质量的情况下减少高斯点数 [3] - 在Mip-NeRF360、Tanks & Temples和Deep Blending数据集上分别剪枝了62.4%、67.7%和75.3%的高斯点，性能损失可忽略不计 [5][28] 技术实现细节 - 传统剪枝方法存在局限性：手工设计的重要性评分方法需要扫描所有训练图像，可学习掩码方法可能导致次优重建效果 [6] - MaskGaussian为每个高斯点学习掩码分布，通过采样生成二值掩码，所有高斯点进行标准溅射并和掩码一起进入渲染计算 [8] - 修改CUDA渲染器使掩码为1和0的高斯都能获取正确梯度，计算其对场景的贡献影响 [9][18] - 掩码光栅化前向过程保留溅射的α完整性，反向过程通过梯度公式更新掩码分布 [14][20][21] 性能表现 - 在Mip-NeRF360数据集上，MaskGaussian的PSNR为27.43，SSIM为0.811，LPIPS为0.227，高斯点数量减少至1.205百万，FPS提升至384.7 [29] - 在Tanks & Temples数据集上，高斯点数量减少至0.590百万，FPS提升至558.3 [29] - 在Deep Blending数据集上，高斯点数量减少至0.694百万，FPS提升至637.1 [29] - 内存消耗显著降低，例如在counter场景中从5.41GB降至3.53GB [30]