射线高斯喷涂用于高效 X 射线新视角合成
本文介绍了第一个基于 3D 高斯喷洒(3DGS)的稀疏视图层析重建框架 R2-Gaussian,通过从 3D 到 2D 高斯的重投影,引入了定制高斯核、扩展到 X 射线成像以及基于 CUDA 的可微体素化器等三个关键创新,通过大量实验证明,我们的方法在 PSNR 和 SSIM 方面优于最先进的方法 0.93 dB 和 0.014,关键是能够在 3 分钟内产生高质量结果,比 NeRF 方法快 12 倍,并与传统算法持平,凸显出其实用价值。
May, 2024
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
数字重建射线照片(DRRs)在术前应用中得到广泛使用,但由于计算瓶颈在术中应用受到限制,特别是对于准确但计算密集型的基于蒙特卡罗方法。本文提出了一种新方法,将真实的受物理启发的 X 射线模拟与使用三维高斯平铺(3DGS)进行高效、可微分的 DRR 生成相结合。我们的方向分立的 3DGS(DDGS)方法将辐射通量贡献分解为各向同性和方向相关的部分,以近似复杂的各向异性相互作用而无需耗时的模拟。此外,我们适应了三维高斯平铺的初始化过程以适应层析数据的特性,提高了精度和效率。我们的方法在图像准确度方面优于最先进的技术。此外,我们的 DDGS 在术中应用和姿态配准等逆问题方面表现出色,并比解析 DRR 方法提供更高的配准准确度和运行时性能。
Jun, 2024
本研究提出了一种名为 RadSplat 的轻量级方法,用于复杂场景的鲁棒实时渲染。该方法通过使用辐射场作为先验和监督信号来优化基于点的场景表示,提高了渲染质量和鲁棒优化。同时,我们开发了一种新颖的剪枝技术,减少了点的数量且保持高质量,使场景表示更小、更紧凑,并具有更快的推理速度。此外,我们提出了一种新颖的测试时间滤波方法,进一步加快了渲染速度,并可以扩展到更大的场景。实验证明,我们的方法实现了 900 + 帧每秒的复杂场景综合效果,达到了最先进水平。
Mar, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
通过将三维体积转化为一组二维定向平面高斯盘,使用透视准确的二维喷洒过程,结合深度扭曲和法线一致性项,实现从多视角图像中准确重建细表面并提高重建质量的一种方法。
Mar, 2024
本文介绍了一种新的全向高斯散乱系统 ——OmniGS,它利用全向图像进行快速辐射场重建,通过对全向相机模型导数的理论分析,在 GPU 加速的全向光栅化器中直接对高斯函数进行散乱,实现了辐射场的可微优化,无需立方体贴图矫正或切平面近似。实验结果表明,该方法在自我中心和移动场景中实现了最先进的重建质量和高渲染速度,并在论文发表后将公开提供代码。
Apr, 2024
3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
3D 高斯散射(3D-GS)是计算机图形学领域的重要进展,提供了明确的场景表示和新颖的视图合成技术,而无需依赖神经网络(如神经辐射场(NeRF))。本文对 3D 高斯散射的相关论文进行了全面调研,将调查结果按照特征和应用进行分类,介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射,提供领域中的重要参考文献,并启发未来的研究方向,如本文的结论部分所讨论的。
Feb, 2024