新视角合成
搜索文档
工业界大佬带队!三个月搞定3DGS理论与实战
自动驾驶之心· 2025-11-04 08:03
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 在机器视觉领域中,新视角合成的核心目标是通过图像或视频构建可以被计算机处理和理解的3D模型。进而催生了大量的应用,包括3D建模、虚拟现实、自动驾 驶闭环仿真等等。但早期的算法像SfM、MVS受限颇多。直到2020年的NeRF打破了这一僵局,但NeRF仍然面临计算效率和可编辑差的问题。所以23年的3DGS一 经问世便迅速火爆起来。 但3DGS的技术迭代速度远超想象。静态重建3DGS、动态重建4DGS、表面重建2DGS,但per-scene optimization的方法用起来实在不方便,因此进一步催生了feed- forward 3DGS。目前3DGS在学术界和工业界都很吃得开,很多同学想入门却苦于没有有效的学习路线图:既要吃透点云处理、深度学习等理论,又要掌握实时渲 染、代码实战,零散查资料自学往往越学越懵,遇到问题连个请教的人都没有。 为此我们花了两个月的时间设计了一套3DGS的学习路线图,从原理到实战细致 展开。 自动驾驶之心联合 工业界算法专家 开展了这门《3DGS理论与算法实战教程》!课程包含2DGS ...
随手拍照片就能VR云旅游!无位姿、稀疏图像条件下实现稳定3D重建和新视角合成|港科广
量子位· 2025-07-31 12:23
3D重建技术突破 - 新算法RegGS可将零散2D图片拼接成厘米级精度的3D数字模型 效果可直接用于VR云旅游场景 [1][2] - 传统NeRF方法计算代价高且难以收敛 NoPose类前馈模型仅能处理极少图片 无法适应大规模场景 [3] - RegGS通过局部3D高斯表示注册与融合 解决了优化方法不鲁棒与前馈方法不灵活的核心矛盾 [4] 技术实现机制 - 采用高斯混合模型结构配准机制 避免依赖SfM初始化 适应图像输入数量少的现实环境 [6][8] - 引入熵正则化Mixture Wasserstein-2距离作为高斯分布对齐度量 在Sim(3)空间联合优化尺度/旋转/平移 [12] - 融合MW2距离/颜色一致性/深度一致性 构建由粗到细的3DGS配准模块 [12] 性能验证与应用场景 - 在RE10K和ACID数据集测试中 PSNR/SSIM/LPIPS指标全面领先主流方法 支持2×至32×不同输入帧数 [9] - 适用于UGC视频3D化 无人机航拍建图 历史图像还原等场景 对非结构化输入更具可行性 [13] - 相比传统SfM或Bundle Adjustment方法 不依赖全局可视性与特征匹配 结构性要求更低 [13] 技术局限性 - 当前性能受限于上游前馈模型生成质量 MW_2距离计算带来额外开销 [13]
暑假打比赛!RealADSim Workshop智驾挑战赛正式开启,奖池总金额超30万(ICCV'25)
自动驾驶之心· 2025-07-11 17:42
自动驾驶仿真技术研讨会核心内容 1 研讨会背景与意义 - 高保真度仿真技术是解决自动驾驶算法测试成本高和安全隐患的关键 传统仿真器存在场景风格差异 离线数据集无法实现闭环测试的局限性[1] - 新视角合成(NVS)技术突破性在于基于真实数据构建闭环仿真环境 为动态交互场景评估提供新途径[1] 2 核心挑战与赛道设置 外插视角新视点合成赛道 - 聚焦外插视角渲染保真度问题 当前技术受限于训练数据视角覆盖范围 稀疏输入时外插视角质量不足[3] - 赛道设置多难度渲染挑战 重点评估变换车道 转向等自动驾驶关键场景的视角外插鲁棒性[3][4] 自动驾驶闭环仿真评估赛道 - 突破性体现在:首次实现完全闭环测试框架 弥合真实数据与交互评估的鸿沟 克服静态数据集无法模拟动态交互的缺陷[5] - 评估维度包括渲染场景真实感 以及算法在闭环环境中的性能表现 提供复杂场景基准测试可能[5][6] 3 赛事组织架构 - 奖项设置:创意奖9000美元 一等奖9000美元 二等奖3000美元[8][9] - 时间节点:2025年6月30日启动 8月31日提交截止 9月5日公布结果 9月20日技术报告截止[8] - 资源平台:提供Hugging Face数据集与提交样例 覆盖两个赛道技术资源[8] 4 行业价值定位 - 聚焦新视角合成与闭环评估两大核心技术难题 构建兼具挑战性和研究价值的比赛平台[10] - 目标推动全球自动驾驶技术向高阶发展 通过仿真技术突破加速算法迭代[11]