数学补充:gsplat 图书馆
我们介绍了 GauStudio,一个新颖的模块化框架,用于建模 3D 高斯飞溅(3DGS),为用户提供标准化的即插即用组件,以便轻松定制和实现 3DGS 流程。支持我们的框架,我们提出了一种具有前景和天空球背景模型的混合高斯表示方法。实验证明,这种表示方法减少了无边界户外场景中的伪影,并改善了新颖视角合成。最后,我们提出了高斯飞溅表面重建(GauS)方法,它是一种从 3DGS 输入中进行高保真网格重建的新的先渲染再融合的方法,无需微调。总的来说,我们的 GauStudio 框架,混合表示方法和 GauS 方法增强了 3DGS 建模和渲染能力,实现了更高质量的新视角合成和表面重建。
Mar, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
该篇论文针对 3D 高斯喷洒(3DGS)存在的伪影问题,提出了解决方案 Analytic-Splatting,通过运用解析求解和逼近,改善了像素光栅化的不足,并在不同分辨率下对像素足迹的变化进行精确捕捉,具备更好的抗锯齿能力。
Mar, 2024
3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
3D 高斯散射(3D-GS)是计算机图形学领域的重要进展,提供了明确的场景表示和新颖的视图合成技术,而无需依赖神经网络(如神经辐射场(NeRF))。本文对 3D 高斯散射的相关论文进行了全面调研,将调查结果按照特征和应用进行分类,介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射,提供领域中的重要参考文献,并启发未来的研究方向,如本文的结论部分所讨论的。
Feb, 2024
提出了一种名为 CompGS 的高效的三维场景表示方法,通过使用紧凑的高斯原始形式,实现了对三维场景建模过程中数据大小的显著降低。通过设计一种捕获彼此之间预测关系的混合原始结构,利用少量的锚原始形式进行预测,并将大多数原始形式封装成高度紧凑的残差形式。此外,还开发了一种受速率约束的优化方案,以在比特率消耗和表示效能之间实现 CompGS 的最佳权衡。实验证明,所提出的 CompGS 在三维场景表示中明显优于现有方法,在不损害模型准确性和渲染质量的情况下实现了卓越的紧凑性。我们的代码将在 GitHub 上发布供进一步研究使用。
Apr, 2024
通过使用转换数据,我们扩展了高斯喷涂算法以解决‘缺失锥体’问题,并提出了能够同时利用 RGB 相机数据和声纳数据的融合算法。通过模拟、仿真和硬件实验,我们展示了所提出的融合算法在新视图合成和 3D 几何重建方面取得了显著的改善(PSNR 提高 5dB,Chamfer 距离降低 60%)。
Apr, 2024
高斯飞溅在新视角合成方面已被证明具有很高的效果,但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图,大大提高了形状重建的准确性,并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差,并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展,可以直接集成到现有的基于高斯飞溅的方法中。
Jun, 2024
最近几年,引入了一系列基于神经网络的图像渲染方法。其中,被广泛研究的神经辐射场(NeRF)依靠神经网络来表示三维场景,可以从少量的二维图像中合成逼真的视图。然而,大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下,高斯喷洒(GS)是一种新颖的、领先技术的渲染点的技术,通过高斯分布来近似它们对图像像素的贡献,从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义,因为需要对几十万个高斯分量进行条件建模。为了解决这个问题,我们引入了高斯网格喷洒(GaMeS)模型,它是网格和高斯分布的混合形式,在物体表面(网格)上固定所有高斯喷洒。我们方法的独特之处在于,仅根据高斯喷洒在网格上的位置来定义,允许在动画过程中自动调整位置、比例和旋转。因此,我们实现了在实时生成高质量视图方面的高质量渲染。此外,我们证明在没有预定义网格的情况下,可以在学习过程中调整初始网格。
Feb, 2024
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023