Neural Radiance Fields (NeRF)
搜索文档
将3DGS嵌入Diffusion - 高速高分辨3D生成框架(ICCV'25)
自动驾驶之心· 2025-11-02 00:04
核心技术:DiffusionGS 算法框架 - 提出一种名为 DiffusionGS 的全新单阶段 3D 生成框架,将 3D Gaussian Splatting 嵌入到 pixel-level 的 Diffusion 模型中,以保持生成结果的 3D 视角一致性 [2] - 该框架在 Diffusion 的每一个时间步都预测一个 3D Gaussian 点云,能够同时用于物体中心化生成和大尺度场景级生成 [2] - 模型在 256x256 和 512x512 分辨率下的生成速度分别为 6 秒和 24 秒,比 Hunyuan-v2.5 快 7.5 倍,参数量仅为 1 个多 G,训练需 16-32 张 A100 显卡 [16] 技术优势与创新点 - 设计了场景-物体混合训练策略,能够将来自不同数据集的物体和场景数据放在一起训练,学习更泛化的三维先验 [32] - 提出新的相机位姿控制条件方法 Reference-Point Plucker Coordinate,通过引入参考点信息增强模型的空间感知能力 [32][37] - 方法在单视角场景重建时无需借助单目深度估计器,本身具备深度感知能力 [32] 性能表现与实验结果 - 在物体级生成任务上,比当前最优方法在 PSNR 指标上高 2.20 dB,FID 分数优 23.25 [32] - 定量实验显示,该方法在不借助 2D 图像扩散先验和单目深度估计器的情况下,达到了更好的测试指标和更快的生成速度 [40] - 视觉对比结果表明,该方法生成的新视角图像更清晰,三维一致性更好,伪影和模糊更少 [44] 应用前景与开源情况 - 该技术可应用于 AR/VR、电影制作、机器人、动画、游戏等领域 [20] - 目前训练、测试、评估代码已经开源,并集成了一行 pipeline 直接运行的代码,未来将包括高斯点云转 mesh 功能 [5][7] - 项目提供了代码、模型、论文链接及项目主页,包含视频和点云交互式渲染结果 [7][8]
ICCV 2025自动驾驶场景重建工作汇总!这个方向大有可为~
自动驾驶之心· 2025-07-29 08:52
自动驾驶场景重建研究进展 - ICCV2025已放出多篇自动驾驶闭环仿真相关论文 国内外顶尖院校如清华大学 南开大学 复旦大学 浙江大学 伊利诺伊大学厄巴纳-香槟分校等团队均在发力该领域 [2] - 当前研究聚焦动态目标与静态场景联合重建 需兼顾LiDAR与视觉数据融合 实现色彩与几何信息的精准建模 [2] - 代表性工作包括: - 清华与UIUC合作的InvRGB+L 通过统一颜色与LiDAR反射率建模实现复杂场景逆向渲染 [5] - 南开与UIUC的AD-GS 采用B样条高斯泼溅技术实现自监督自动驾驶场景重建 [6] - 复旦的BézierGS 通过贝塞尔曲线高斯泼溅完成动态城市场景重建 [10] - 清华 浙大与菜鸟网络的RGE-GS 利用扩散先验实现奖励引导的驾驶场景扩展重建 [11] 3DGS技术发展与课程体系 - 3D高斯泼溅(3DGS)技术已衍生出2DGS/3DGS/4DGS/混合GS等多个子方向 涉及新视角泛化 场景编辑 自动驾驶仿真闭环等应用 [12] - 业内首门3DGS全栈实战课程覆盖八大模块: - 视觉重建算法基础(NeRF与3DGS技术起源) [19] - 3DGS核心技术解析(数据算法 可视化 评测体系) [21] - 静态场景重建(CVPR2024最佳学生论文Mip-Splatting实战) [23] - 动态场景重建(CVPR2024满分论文Deformable GS应用) [25] - 场景表面重建(SOTA方案PGSR技术剖析) [27] - 自动驾驶混合重建(Street Gaussians动静态分解策略) [29] - gsplat框架实战(工业级驾驶场景重建算法开发) [31] - 学术与职业发展(3DGS研究趋势与工业落地现状) [33] 技术团队与资源 - 课程由头部自动驾驶公司算法专家Jeff主导 其在SIGGRAPH CVPR等顶会发表8篇论文 专注NeRF/3DGS算法研究 [36] - 配套资源包括《NeRF与自动驾驶论文带读课程》及gsplat开源框架支持 需学员自备12G以上显存GPU [15][38] - 目标学员涵盖高校研究人员 企业技术骨干及转行人员 需具备Python/PyTorch基础与三维重建入门知识 [37][40]