Workflow
语义匹配先验
icon
搜索文档
少量视角也能得到完整3D几何,即插即用的语义增强重建插件来了
机器之心· 2025-11-02 09:37
技术核心与创新点 - 提出SERES方法,通过语义匹配先验与区域级正则两条主线,解决稀疏视角下表面重建的几何准确性、细节还原与结构完整性挑战 [4][8] - 语义匹配先验从输入图像提取语义块与几何原语,进行多视角交互式对齐与聚合,为重建主干提供跨视角对应关系,减少错配带来的形状扭曲与边界模糊 [10][12] - 区域级正则基于几何原语生成区域分割掩膜,与模型渲染的语义分布对齐,形成结构层面的一致性约束,有效抑制噪声碎片,获得更干净连贯的网格 [14][16] - 该方法以训练期插件方式接入NeuS或Neuralangelo等主流主干,不改变推理流程,接口简单且额外计算开销小 [8][16] 性能表现与实验结果 - 在DTU稀疏多视角设置中,SERES作为插件显著提升重建质量与新视角合成质量,几何误差稳定下降 [17] - SERES+NeuS组合在DTU数据集上的平均误差为1.24,显著优于原始NeuS的4.00 [18] - SERES+Neuralangelo组合在DTU数据集上的平均误差为1.10,显著优于原始Neuralangelo的3.52 [18] - 在BlendedMVS及多种真实场景(高反射、复杂拓扑、低纹理)中,SERES输出更完整干净的几何,有效减少断裂与噪声,体现出良好鲁棒性与通用性 [22] 应用前景与工程价值 - 该方法不需要额外传感器或复杂改造,以即插即用方式接入现有隐式重建框架,迁移门槛低 [26][27] - 适合直接集成到当前稀疏三维重建工作流中,用更少视角获得更高保真的几何重建,对工程团队友好 [27]