文章核心观点 - 一篇由12所顶尖学术机构联合撰写的综述论文，系统总结了2021至2025年间兴起的“前馈式3D”技术新范式，该范式旨在克服传统方法依赖“逐场景优化”导致的效率低下和泛化能力弱的问题，推动实时、通用的3D理解发展 [2] 五大代表性技术分支 - 条件式NeRF分支：自PixelNeRF起，研究者探索让网络直接预测辐射场，发展出基于1D、2D和3D特征的方法 [7][12] - 点图模型分支：由DUSt3R引领，直接在Transformer中预测像素对齐的3D点云，后续工作如MASt3R、Fast3R等提升了多视整合和长序列记忆能力 [9] - 3D高斯泼溅分支：通过引入神经预测器实现直接输出高斯参数，包括基于图像的高斯图预测和基于体积的高斯表示两类方法 [10][13] - 网格/占据/SDF模型分支：将传统几何建模思路与Transformer、Diffusion模型结合，如MeshFormer、InstantMesh等模型 [14][19] - 3D无关模型分支：不依赖显式三维表示，直接学习从多视图到新视角的映射，包括基于回归的方法和基于生成扩散模型的方法 [14][19] 多样化任务与应用场景 - 应用方向涵盖无姿态重建与新视角合成、动态4D重建与视频扩散、SLAM与视觉定位、3D感知的图像与视频生成、数字人建模以及机器人操作与世界模型等多个前沿领域 [20] 基准数据集与评测指标 - 论文收录超过30个常用3D数据集，涵盖对象级、室内、室外、静态与动态场景，数据规模从7个场景到1,020万个对象不等，例如Objaverse-XL包含1,020万个合成对象，MVImgNet包含219,188个真实对象 [18][21] - 总结了包括PSNR/SSIM/LPIPS（图像质量）、Chamfer Distance（几何精度）、AUC/RTE/RRA（相机姿态）在内的标准指标体系 [18] 量化评测结果 - 相机姿态估计：在Sintel数据集上，TT方法的绝对轨迹误差最低，为0.074；在RealEstate10K数据集上，VGGT和TT方法的相对姿态误差指标表现优异 [23] - 点图重建：在7-Scenes数据集上，VGGT方法在点云精度和法向一致性上表现最佳，平均精度达0.087，平均法向一致性达0.787 [24] - 视频深度估计：在尺度与偏移对齐条件下，TT方法在Sintel和KITTI数据集上的绝对相对误差分别低至0.210和0.037，δ<1.25的指标分别高达0.726和0.985 [25] - 单图新视角合成：在Tanks-and-Temples数据集上，PE-Fields方法取得了最高的PSNR（22.12）和SSIM（0.732），以及最低的LPIPS（0.174） [26] 未来挑战与趋势 - 当前面临四大开放问题：多模态数据不足、重建精度待提升、自由视角渲染难度高以及长上下文推理存在显存瓶颈 [28][29] - 未来研究方向包括扩散Transformer与长程注意力结构、可扩展的4D记忆机制、多模态大规模数据集构建以及开发兼具生成和重建能力的前馈模型 [28]