高斯平铺是否需要 SFM 初始化?
通过分析频域中的结构化运动初始化和多个一维高斯回归任务的分析,我们提出了一种名为 RAIN-GS(放松 3D 高斯点云精确初始化约束)的新优化策略,成功地从随机点云训练 3D 高斯效果,并通过多个数据集进行定量和定性比较,大幅提高了在所有设置中的性能。
Mar, 2024
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
通过将神经有向距离场(SDF)与三维高斯光斑(3DGS)相结合,我们提出了一个统一的优化框架,用于在室内场景中进行高质量的重建和实时速度的渲染。
May, 2024
3D 高斯散射(3D-GS)是计算机图形学领域的重要进展,提供了明确的场景表示和新颖的视图合成技术,而无需依赖神经网络(如神经辐射场(NeRF))。本文对 3D 高斯散射的相关论文进行了全面调研,将调查结果按照特征和应用进行分类,介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射,提供领域中的重要参考文献,并启发未来的研究方向,如本文的结论部分所讨论的。
Feb, 2024
我们提出了一种方法,可以从 3D 高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染,相较于 NeRFs 具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息,与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。最后,我们引入了可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,我们的方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是使用数小时。同时,我们的方法提供更好的渲染质量。
Nov, 2023
通过使用金字塔式组装高斯函数的 3D 高斯喷射 (PyGS),结合 NeRF 初始化,我们在多个大规模数据集上实现了显著的性能提升,并获得超过当前最先进方法 400 倍以上的渲染时间。
May, 2024
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023
最近几年,引入了一系列基于神经网络的图像渲染方法。其中,被广泛研究的神经辐射场(NeRF)依靠神经网络来表示三维场景,可以从少量的二维图像中合成逼真的视图。然而,大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下,高斯喷洒(GS)是一种新颖的、领先技术的渲染点的技术,通过高斯分布来近似它们对图像像素的贡献,从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义,因为需要对几十万个高斯分量进行条件建模。为了解决这个问题,我们引入了高斯网格喷洒(GaMeS)模型,它是网格和高斯分布的混合形式,在物体表面(网格)上固定所有高斯喷洒。我们方法的独特之处在于,仅根据高斯喷洒在网格上的位置来定义,允许在动画过程中自动调整位置、比例和旋转。因此,我们实现了在实时生成高质量视图方面的高质量渲染。此外,我们证明在没有预定义网格的情况下,可以在学习过程中调整初始网格。
Feb, 2024