斑点场:用于稀疏3D和4D重建的神经高斯斑点
我们提出了一种从稀疏训练视角中训练一致的基于3DGS的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在MipNeRF-360数据集上以较少的训练和推理成本超过了基本的3DGS的30.5%和基于NeRF的方法的15.6%。
Nov, 2023
我们介绍了Splatter Image,这是一种超快的单目三维物体重建方法,运行速度达到每秒38帧。Splatter Image基于高斯颗粒化技术,该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习,测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image的主要创新之处在于其设计意外地简单:它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此,所得到的高斯形式呈现为一张图像,即Splatter Image。我们进一步扩展了该方法,使用多个图像作为输入,并通过添加交叉视图注意力来实现。由于渲染器的速度(每秒588帧),我们可以在训练时只使用一个GPU,在每次迭代中生成整个图像,以优化LPIPS等感知度量标准。在标准基准测试中,我们不仅展示了快速重建,而且在PSNR、LPIPS和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
Dec, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
4D高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
通过应用渐进传播策略,并利用场景的先验知识和块匹配技术,我们提出了一种名为GaussianPro的新方法,来指导3D高斯聚类的密度化,验证实验证明了我们的方法在大规模和小规模场景上的有效性。
Feb, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的3D高斯喷涂方法进行文献综述,提供了一个3D高斯喷涂方法的分类,包括3D重建、3D编辑和其他功能应用,以及传统的基于点的渲染方法和3D高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动3D高斯喷涂表示法的未来发展。
Mar, 2024
提出了一种能够隐式编码场景几何结构的结构感知高斯喷洒方法 (SAGS),通过基于本地-全局图表示促进复杂场景的学习并强制保持场景几何的有意义的点位移,与现有的 3D-GS 方法相比,在渲染质量和模型大小两方面都展现出卓越的性能,能够有效减轻之前方法的浮点和图像失真问题,并获得精确的深度图。
Apr, 2024
通过矩阵和张量分解技术,我们提出了一种新方法,即因式化三维高斯粒子点描(F-3DGS),通过高效的因式化,大大减少了存储需求,同时保持了渲染图像的质量。
May, 2024
基于神经渲染技术,本研究提出了一种使用3D Half-Gaussian核的方法,以改进当前3D Gaussian splatting方法的性能,在不影响渲染速度的情况下,在多个数据集上获得了最先进的渲染性能。
Jun, 2024
本研究解决了3D高斯点云渲染中高保真度图像所需的高内存和存储的问题。通过提出可学习的掩码策略和基于网格的神经场表示,显著减少了高斯点的数量,同时保持性能表现。我们的方法在静态场景中存储需求降低超过25倍,并在动态场景中实现超过12倍的存储效率,同时保持高质量重建。
Aug, 2024