文章核心观点 - 港中文（深圳）、滴滴和港大的研究团队提出UniSplat，这是一种用于动态驾驶场景重建的通用前馈框架，其核心是构建统一的3D潜在Scaffold，通过融合多视图空间信息与多帧时间信息来实现鲁棒的新视角合成 [1] - UniSplat框架旨在解决自动驾驶环视场景中因稀疏非重叠相机视角和复杂场景动态性导致的现有前馈式3D重建技术表现不佳的问题 [1] - 实验表明，UniSplat在Waymo Open和NuScenes数据集上的新视角合成任务中达到当前最优性能，即使对于原始相机覆盖范围外的视角也能提供高质量渲染 [2][7] 技术背景与挑战 - 从城区驾驶场景中重建3D场景是自动驾驶系统的核心能力，支撑仿真、场景理解和长时程规划等关键任务 [5] - 3D高斯溅射技术虽在渲染效率和保真度上取得进展，但其通常假设输入图像间存在大量视角重叠且依赖逐场景优化，限制了在实时驾驶场景中的适用性 [5] - 前馈式重建方法通过单次前向传播合成新视角以实现更快推理，但城市驾驶场景的鲁棒重建仍面临维持时间上演化的统一表示、处理部分观测和遮挡以及从稀疏输入高效生成高保真高斯体等挑战 [5] UniSplat框架设计 - 框架核心是构建统一的3D潜在Scaffold，这是一种结构化表示，利用预训练基础模型捕捉场景的几何和语义上下文 [1][6] - 框架遵循三阶段流程：首先构建以自车为中心的3D Scaffold；其次进行时空融合，整合多视图空间上下文并融合历史Scaffold；最后通过双分支解码器将融合后的Scaffold解码为动态感知高斯体 [6] - 引入高效的融合机制，直接在3D Scaffold内运作，实现一致的时空对齐，并设计双分支解码器结合点锚定细化与体素化生成，确保重建结果的完整性和细节丰富度 [8][9] 关键技术组件 - 3D Scaffold构建阶段，利用几何基础模型推断3D结构，结合视觉基础模型补充语义信息，在自车坐标系下生成潜在Scaffold [14][16] - 统一时空Scaffold融合阶段，在3D空间直接执行空间融合，并通过自车运动补偿将历史Scaffold融合到当前Scaffold中，实现时间增强的场景表示 [20][21] - 动态感知高斯生成阶段，采用双分支解码策略，一点解码器分支保留细粒度几何细节，一体素解码器分支补充稀疏覆盖区域，并引入动态属性分离静态与动态成分 [23][24][27] 实验结果与性能 - 在Waymo Open数据集上，UniSplat在输入视图重建和新视角合成任务的所有指标上均持续优于基线方法MVSplat、DepthSplat、EvolSplat和DriveRecon [33] - 在nuScenes数据集上，UniSplat的PSNR达到25.37 dB，较此前最优方法Omni-Scene提升1.10 dB [37] - 模型展现出对原始相机覆盖范围外挑战性视角的泛化能力，并能有效区分动态与静态目标，抑制重影伪影，实现渐进式场景补全 [7][37] 消融实验分析 - 消融实验表明，Scaffold中同时包含几何和语义特征对性能至关重要，缺失语义特征会导致LPIPS指标显著下降0.05 [41] - 空间融合较仅依赖图像域融合的基线方法PSNR提升0.36 dB，加入时间融合后PSNR再提升0.58 dB，证明统一时空建模的重要性 [42] - 双分支解码器中，仅使用点锚定高斯分支会导致PSNR降低0.46 dB，证明体素生成分支对提升场景完整性至关重要 [43]