实时辐射场渲染的三维高斯喷洒
本研究提出了一种名为 RadSplat 的轻量级方法,用于复杂场景的鲁棒实时渲染。该方法通过使用辐射场作为先验和监督信号来优化基于点的场景表示,提高了渲染质量和鲁棒优化。同时,我们开发了一种新颖的剪枝技术,减少了点的数量且保持高质量,使场景表示更小、更紧凑,并具有更快的推理速度。此外,我们提出了一种新颖的测试时间滤波方法,进一步加快了渲染速度,并可以扩展到更大的场景。实验证明,我们的方法实现了 900 + 帧每秒的复杂场景综合效果,达到了最先进水平。
Mar, 2024
我们提出了一种新颖的实时去模糊框架,利用小型多层感知机(MLP)操纵每个 3D 高斯的协方差来建模场景的模糊程度,从模糊的图像中重构出细节清晰的图像,实现实时渲染。
Jan, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
本文提出了一种使用各向同性高斯核避免计算困难的高效方法,实验证实该方法在保持几何表示精度的同时大约快了 100 倍,并可应用于需要辐射场的广泛应用领域,如 3D 重建、视图合成和动态物体建模。
Mar, 2024
通过使用层次结构的三维高斯,本研究提出了一种在非常大的场景中保持视觉质量的方法,同时提供了有效的远程内容的适当级别选择和平滑过渡的有效细节解决方案。
Jun, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
通过在有限预算内进行训练和渲染,提出了一种改进的 3D 高斯粉碎(3DGS)模型,实现了较快速、高质量的新视图合成,并减少了模型大小和训练时间。
Jun, 2024
3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
通过优化 3D 高斯飞溅表示法,将高保真度场景重建应用于稀疏图像集合的新视角合成,并通过压缩的 3D 高斯飞溅表示法,在显著降低内存消耗和提高渲染效率的基础上,实现了对方向性颜色和高斯参数进行压缩。在多个数据集上进行广泛实验,证明了该方法的鲁棒性和渲染速度。
Nov, 2023