点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 论文作者 | Chen Shi等 编辑 | 自动驾驶之心 难得，滴滴也出了前馈GS方向的新工作，还是少帅参与 — UniSplat！ 前馈式3D重建技术在自动驾驶领域发展很迅速，但现有工作在自动驾驶环视场景中的表现不佳，这是由于稀疏非重叠的相机视角以及复杂场景动态性双重buff导致。 针对这个问题，港中文（深圳）、滴滴和港大的团队提出UniSplat — 一种通用feed-forward框架，通过统一的潜在时空融合实现鲁棒的动态场景重建。 该框架构建3D 潜在Scaffold（一种结构化表示），利用预训练基础模型捕捉场景的几何和语义上下文。 实验表明，UniSplat的新视角合成能不还不错，即使对于原始相机覆盖范围外的视角，也能提供鲁棒且高质量的渲染结果。 PS. 立个Flag，最近打算梳理下前馈GS方向的内容，梳理下这个方向的里程碑及自驾领域结合的工作。 自动驾驶之心联合 工业界算法专家 开展了这门 《3DGS理论与算法 实战教程》！ 我们花了两个月的时间 ...

文章核心观点 - 港中文（深圳）、滴滴和港大团队提出UniSplat，一种用于动态驾驶场景重建的通用前馈框架，其核心是构建统一的3D潜在Scaffold，通过融合多视图空间信息与多帧时间信息来实现鲁棒的新视角合成 [1][6] - UniSplat在Waymo和NuScenes数据集上的实验表明，其在新视角合成任务中达到当前最优性能，PSNR达到25.37 dB，较此前最优方法提升1.10 dB [7][34][37] - 该框架对自动驾驶系统的仿真、场景理解和长时程规划等关键任务具有重要支撑作用 [5] 技术背景与挑战 - 城区驾驶场景的3D重建是自动驾驶系统的核心能力，但现有3D高斯溅射技术通常假设输入图像间存在大量视角重叠，且依赖逐场景优化，限制了在实时驾驶场景中的适用性 [5] - 城市驾驶场景中的鲁棒重建面临三大挑战：维持随时间平滑演化的统一潜在表示、处理部分观测和遮挡及动态运动、从稀疏输入中高效生成高保真高斯体 [5] - 前馈式重建方法通过单次前向传播合成新视角，但EvolSplat忽略语义融合且缺乏动态处理机制，Omni-Scene未纳入时间聚合且受限于粗粒度3D细节 [5] UniSplat框架设计 - 框架采用三阶段流程：首先构建以自车为中心的3D Scaffold编码几何和语义线索，其次进行时空融合整合多视图空间上下文和历史Scaffold，最后通过双分支解码器生成动态感知高斯体 [6] - 引入高效的融合机制直接在3D Scaffold内运作实现一致的时空对齐，空间融合采用稀疏3D U-Net整合多视图特征，时间融合通过自车运动补偿将历史Scaffold融合到当前Scaffold [20][21][22] - 设计双分支解码器，点解码器分支利用点级锚点保留细粒度几何细节，体素解码器分支直接从体素中心生成新高斯基元以提升场景完整性 [23][24][27] 核心技术创新 - 提出统一3D潜在Scaffold作为结构化表示，支持在3D空间内直接进行跨视图和跨时间帧的时空融合，避免传统2D图像域融合受视图重叠有限影响的问题 [6][20] - 创新性引入动态感知高斯补全机制，每个高斯基元关联动态属性，通过运动感知过滤和静态高斯记忆库实现随时间累积的渐进式场景补全 [23][29] - 利用预训练几何基础模型和视觉基础模型捕捉场景的几何和语义上下文，为Scaffold构建提供鲁棒先验，其中几何基础模型直接预测密集3D点云解决尺度模糊问题 [14][15] 实验结果与分析 - 在Waymo数据集上，UniSplat在输入视图重建和新视角合成任务的所有指标上均持续优于MVSplat、DepthSplat、EvolSplat和DriveRecon等基线方法 [33] - 在nuScenes数据集上，UniSplat的PSNR达到25.37 dB，SSIM达到0.765，显著超过Omni-Scene等此前最优方法 [34][37] - 消融实验表明，同时使用几何和语义特征时PSNR达到25.08 dB，而缺失语义特征会导致LPIPS指标显著下降；空间融合和时间融合分别带来PSNR提升0.36 dB和0.58 dB [41][42] 技术影响与潜力 - UniSplat框架展现出对原始相机覆盖范围外挑战性视角的出色泛化能力，即使对于稀疏非重叠相机视角和复杂场景动态性也能提供高质量渲染结果 [1][7] - 该技术为动态场景理解、交互式4D内容创建及终身世界建模等未来研究方向提供了极具潜力的基础 [44] - 通过流式记忆机制实现时间持久化重建，同时抑制动态伪影，为自动驾驶长时程场景理解提供了新的技术路径 [29][44]