核心观点 - 提出OmniVGGT框架，旨在解决现有3D基础模型无法灵活利用多种辅助几何信息（如深度、相机参数）的问题 [5][6] - 该框架通过两个核心创新（GeoAdapter和随机多模态融合策略）实现在训练和推理时能利用任意数量的辅助模态，且不影响纯RGB输入的性能 [7][9][10] - 实验表明，该模型在单目/多视图深度估计、相机位姿估计、3D重建及机器人操作任务上均达到顶尖水平，展示了强大的性能与实用性 [7][29][48] 技术背景与问题定义 - 当前主流3D基础模型（如VGGT）主要依赖RGB图像，无法有效利用实际应用中广泛存在的辅助信息（如RGB-D数据、激光雷达点云、相机参数） [5] - 现有方法要么只能使用一种辅助信息，要么最多处理两种，缺乏对不同应用场景的灵活适配能力，造成“信息浪费” [5][9] 核心技术：OmniVGGT框架 - 基础架构：基于VGGT改进，使用DINO骨干网络提取空间令牌，并通过交替注意力机制处理多视图信息 [13][14] - GeoAdapter（几何适配器）：包含相机适配器和深度适配器，采用零初始化卷积等技术将不同几何信息轻量且稳定地注入基础模型，计算开销极小 [10][15][16] - 随机多模态融合策略：在训练时随机采样模态子集，使模型能适应测试时任意数量和组合的模态输入，增强鲁棒性 [10][22][23] - 端到端处理：输入图像集及任意数量的辅助信息，通过网络直接输出深度图、相机位姿和3D点云图 [12] 实验性能评估 - 单视图深度估计：在Sintel数据集上，仅使用RGB输入时，其绝对相对误差（Abs Rel）为0.558，优于基线VGGT的0.722；当使用100%深度信息时，Abs Rel显著降低至0.106 [30][36] - 多视图深度估计：在ETH3D数据集上，结合深度信息后，相对误差（rel）仅为0.5，准确率（δ<1.25）达到98.7% [36][40] - 相机位姿估计：在CO3Dv2数据集上，结合相机参数输入时，AUC@30°达到93.4%，远超对比方法Pow3R的82.2%，且推理速度仅需0.2秒，快30倍以上 [39][42] - 3D重建：在7-Scenes数据集上，结合相机与深度信息后，重建精度（Acc）提升至0.036，比纯RGB输入（0.104）提升约64.4% [43][47] - 机器人操作任务：集成到视觉-语言-动作模型后，在CALVIN数据集上，使用RGB-D输入的任务平均连续完成数（Avg Len）达4.08，优于基线 [48][51] 架构有效性验证 - 消融实验证明，完整的OmniVGGT设计（零卷积处理相机信息、直接相加处理深度信息）性能最优，替代方案（如直接替换令牌或单层适配器）均导致性能下降 [49][52] - 该设计确保了在引入辅助信息时不破坏原有特征空间，纯RGB输入性能仍优于基线 [30][52] 行业应用与前景 - 该技术解决了3D视觉模型在多样化真实场景（如VR/AR、自动驾驶、机器人）中的输入适配性问题，实现了“全能辅助” [5][53] - 模型高效且实用，计算开销小，易于集成到现有系统（如VLA模型）以提升下游任务（如机器人操作）性能 [7][53] - 展现了在多模态融合领域的潜力，为未来扩展到更复杂动态场景奠定了基础 [54]