BAD-Gaussians:捆绑调整模糊高斯喷塗
我们提出了一种新颖的实时去模糊框架,利用小型多层感知机(MLP)操纵每个 3D 高斯的协方差来建模场景的模糊程度,从模糊的图像中重构出细节清晰的图像,实现实时渲染。
Jan, 2024
通过使用 3D 高斯喷洒来优化运动模糊图像中的清晰 3D 场景,我们的方法 DeblurGS 克服了初始相机姿态获取中的不准确性并实现了最先进的去模糊和新视角合成性能。
Apr, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
本文主要研究了 3D 高斯喷洒(3DGS)中的常见误差源,包括模糊、不完美的相机姿态以及颜色不一致性,旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布,我们可以统一处理相机姿态的精炼和运动模糊矫正,并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成,同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实,我们的贡献取得了最先进的结果,相对于相关基准线实现了一致的性能改进。
Apr, 2024
提出了用于去模糊的神经光辐射场(NeRF)的事件驱动捆绑调整方法(EBAD-NeRF),该方法通过利用混合事件 - RGB 数据来联合优化可学习的姿势和 NeRF 参数,引入了强化相机运动模糊的强度变化度量事件损失和光度模糊损失,实验证明 EBAD-NeRF 在曝光时间内可以准确获得相机姿势,并学习到比以前的方法更清晰的 3D 表示。
Jun, 2024
本文提出了一种 3D 几何感知可变形高斯喷洒方法,用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模,从而实现改进的动态视图合成和 3D 动态重建。
Apr, 2024