场景重建

搜索文档
AI Day直播!复旦BezierGS:利用贝塞尔曲线实现驾驶场景SOTA重建~
自动驾驶之心· 2025-07-07 20:17
今天自动驾驶之心很荣幸邀请到BezierGS工作的一作马梓培,为大家分享这篇ICCV'25中稿的新工作!今晚七点 半,自动驾驶之心直播间不见不散~ 1. 构建一个高质量街景世界,供自驾模型在其中训练、探索,减少数据采集的成本; 2. 减少对bounding box精确性的依赖,目前业界以及开源自驾数据集采集的准确性不是很高,bounding box的 标注不精确; 3. 这篇是对自驾世界的学习与探索,未来会探索一个真正的自驾世界模型,该工作只能实现轨迹内插,无法轨 迹外插。 论文链接:https://arxiv.org/abs/2506.22099 代码代码:https://github.com/fudan-zvg/BezierGS 复旦大学ICCV 2025中稿的最新工作!自动驾驶场景的真实重建对于开发闭环仿真至关重要。大多数现有方法依 赖于目标的位姿标注,使用这些位姿来重建动态目标并在渲染过程中实现动态重建。这种对高精度目标标注的依 赖限制了大规模和广泛场景的重建。为了解决这一挑战,复旦大学的团队提出了Bezier curve Gaussian splatting (BezierGS),该方法使用可学习的 ...
ICCV 2025!复旦BezierGS:利用贝塞尔曲线实现极简标注驾驶场景SOTA重建~
自动驾驶之心· 2025-06-30 20:33
动态城市场景重建技术 - 复旦大学团队提出BezierGS方法,利用可学习贝塞尔曲线表示动态目标运动轨迹,消除对高精度目标标注的依赖[4][8] - 该方法引入对动态目标渲染的额外监督和曲线间一致性约束,实现场景元素的准确分离和重建[4][14] - 在Waymo和nuPlan数据集上实验表明,BezierGS在动态和静态场景重建及新视角合成方面优于现有方法[4][14] 技术优势与创新 - 使用贝塞尔曲线显式建模动态目标轨迹,可自动校准位姿误差,提升大规模场景适用性[8][14] - 引入分组曲线一致性损失,增强同一目标高斯基元间的几何约束[14][27] - 动态渲染损失确保动态目标仅由动态高斯基元贡献,实现更彻底的前景-背景分离[28][44] 性能表现 - 在Waymo数据集上,BezierGS新视角合成PSNR提升1.87dB,SSIM提高0.014,LPIPS降低8%[37] - 在nuPlan数据集上,PSNR提高3.04dB,SSIM提高0.036,LPIPS降低16.35%[41] - Dyn-PSNR指标显著提升,Waymo上提高2.66dB,验证动态内容渲染优势[37][41] 应用价值 - 高质量街景重建可降低自动驾驶数据采集成本,为感知、预测等任务提供真实可控的仿真环境[5][6] - 减少对bounding box精确性的依赖,解决现有数据集标注不精确的问题[6][12] - 为闭环仿真评估创建高质量环境,支持安全经济地仿真关键极端场景[7] 技术对比 - 相比基于NeRF的方法,BezierGS利用3DGS技术保持高渲染速度同时实现优越质量[10] - 相比S3Gaussian和PVG等自监督方法,贝塞尔曲线提供更显式和合理的轨迹表示[12][45] - 相比依赖手动标注框的方法,在nuPlan等标注不精确场景中表现更优[12][41]
扩散模型还原被遮挡物体,几张稀疏照片也能"脑补"完整重建交互式3D场景|CVPR'25
量子位· 2025-04-23 12:50
DP-Recon团队 投稿 量子位 | 公众号 QbitAI 你是否设想过,仅凭几张随手拍摄的照片,就能重建出一个完整、细节丰富且可自由交互的3D场景? 在传统方法中,这几乎是不可能完成的任务,稀少的拍摄视角往往导致模型无法还原被遮挡的区域,生成的场景要么残缺不全,要么细节模 糊。更令人困扰的是,传统的重建算法无法解耦场景中的独立物体,重建结果无法交互,严重限制了在具身智能、元宇宙和影视游戏等领域的 应用前景。 近期, 北京通用人工智能研究院 联合清华大学、北京大学的研究团队提出了名为 DP-Recon的创新方法 。该方法通过在组合式3D场景重建 中,引入生成式扩散模型作为先验,即便只有寥寥数张图像输入,也能智能"脑补"出隐藏在视野之外的场景细节,分别重建出场景中的每个物 体和背景。 值得一提的是,该方法还创新性地提出了一套可见性建模技术,通过动态调节扩散先验和输入图片约束的损失权重,巧妙地解决了生成内容与 真实场景不一致的难题。在应用层面,DP-Recon不仅支持从稀疏图像中恢复场景,还能实现基于文本的场景编辑,并导出带纹理的高质量模 型,为具身智能、影视游戏制作、AR/VR内容创作等领域,带来了全新的可能 ...