神经辐射场(NeRF)

搜索文档
7DGS 炸场:一秒点燃动态世界!真实感实时渲染首次“七维全开”
自动驾驶之心· 2025-08-24 00:03
核心技术创新 - 提出7D高斯溅射(7DGS)框架,通过联合建模空间(3D)、时间(1D)和视角方向(3D)实现动态场景的高保真实时渲染 [3][10][17] - 核心突破在于统一表征7维高斯,自然捕捉几何、动态与视角相关外观的相互依赖性,例如移动镜面高光和时间变化的各向异性反射 [3][18][24] - 引入自适应高斯细化技术,通过轻量级神经网络动态调整高斯参数,提升对非刚性形变和复杂动态行为的建模精度 [32][35][36] 性能优势 - 在7DGS-PBR数据集上,PSNR指标最高提升7.36 dB(heart1场景:35.48 vs 27.30),同时保持401 FPS的实时渲染速度 [10][40][44] - 高斯点数显著减少,例如dust场景从357,744点优化至11,253点,压缩率达96.9% [40] - 在Technicolor野外数据集上,PSNR达到33.58,优于4DGS的33.25,且训练时间从358.9分钟缩短至112.1分钟 [40][43] 方法架构 - 采用条件切片机制,将7D高斯投影为兼容现有渲染流程的3D高斯,确保实时性能与保真度平衡 [23][26][27] - 通过球谐函数建模视角相关颜色,结合时间调制因子(f_temp)和方向调制因子(f_dir)动态调整不透明度 [8][28][30] - 优化流程继承3DGS的自适应致密化框架,通过克隆与分裂操作实现跨时空角度域的全面覆盖 [37][38] 应用场景 - 支持虚拟现实、增强现实和数字孪生应用,适用于动态心跳可视化、云层日照过渡等复杂场景 [2][10][41] - 在自动驾驶领域潜在应用于动态环境建模,技术栈涵盖BEV感知、多传感器融合和世界模型 [45][46]
Gaussian-LIC2:多传感器3DGS-SLAM 系统!质量、精度、实时全要
自动驾驶之心· 2025-07-09 20:56
3D视觉与SLAM技术发展 - 同时定位与建图(SLAM)是支撑混合现实和机器人空间感知的基础技术,近年来神经辐射场(NeRF)和三维高斯喷溅(3DGS)引领了基于辐射场的SLAM新范式[3] - 基于NeRF的SLAM系统采用多层感知器表示场景,虽能实现高质量稠密地图但计算开销大,难以满足实时需求[4] - 3DGS技术突破实时性限制,具备快速渲染和出色视觉质量,在室内场景精度和渲染质量上优于NeRF系统[4] - 现有LiDAR-惯性-相机融合的3DGS SLAM系统在稳健状态估计和高视觉质量建图方面表现优异,但仍存在重建盲区、几何精度不足等挑战[6][7] Gaussian-LIC2系统创新 - 提出首个兼顾视觉质量、几何精度与实时性能的LiDAR-惯性-相机3DGS SLAM系统,实现实时高精度位姿估计和高保真地图构建[12] - 通过稀疏深度补全网络融合LiDAR与图像数据,预测未覆盖区域深度,全面初始化高斯分布缓解重建盲区[12] - 系统采用连续时间紧耦合LiDAR-惯性-相机里程计,支持异步多传感器数据无插值误差融合,提升稳定性和精度[11] - 创新性地将逐步构建的高斯地图光度约束与LiDAR-惯性数据在连续时间框架中融合,增强退化场景下的里程计鲁棒性[12] 技术实现细节 - 系统采用滑动窗口机制,窗口长度0.1秒,通过控制点扩展轨迹并在窗口内优化状态量[14] - 构建连续时间因子图,包含LiDAR因子、惯性因子和两种相机因子(LiDAR地图重投影约束和高斯地图光度约束)[17][22][23] - 采用SPNet深度补全模型,高效紧凑且无需微调即可使用,通过图像块遍历策略补充LiDAR盲区点云[32][34] - 高斯初始化采用邻域点计算样本协方差确定尺度方向,优化过程采用CUDA加速,限制在活跃高斯子集[35][38] 性能评估 - 在公开数据集测试中,系统定位精度达到0.03m平移误差和0.43°旋转误差,优于同类方法[45] - RGB渲染质量指标PSNR达30.36,SSIM达0.831,LPIPS低至0.144,展现卓越的视觉保真度[48] - 系统在LiDAR退化场景仍保持稳定性能,得益于高斯地图提供的光度约束[47] - 支持每秒数帧的实时建图速率,满足移动机器人和混合现实平台需求[44] 行业应用前景 - 系统可广泛应用于路径规划、主动建图、三维网格重建等机器人任务[3] - 技术扩展性支持视频帧插值、快速网格提取等下游任务[12] - 配套发布专用LiDAR-惯性-相机数据集,含真值位姿和深度图,推动新视角合成能力评估[12] - LiDAR成本显著下降提升技术集成可行性,加速在无人驾驶、AR/VR等领域的商业化落地[4]