用 3DGS 照亮每个黑暗:快速训练和实时渲染用于 HDR 视图合成
通过自我监督学习的新框架,我们能够在有限的噪声原始图像数量下,从原始图像中重建高动态范围(HDR)3DGS,克服了噪声的影响,提高了重建质量和推断速度。
Jun, 2024
通过在有限预算内进行训练和渲染,提出了一种改进的 3D 高斯粉碎(3DGS)模型,实现了较快速、高质量的新视图合成,并减少了模型大小和训练时间。
Jun, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
使用高动态范围高斯点云模型和多层感知器(MLP)调制,建立了一种新的高动态范围高斯喷点(HDR-GS)框架,以有效渲染新的高动态范围(HDR)视图和重建低动态范围(LDR)图像,并通过两个并行可微光栅化(PDR)过程对 HDR 和 LDR 视图进行重建。实验证明,该方法在 LDR 和 HDR NVS 上分别超过了现有的 NeRF 方法 3.84 和 1.91 dB,同时拥有 1000 倍的推理速度和仅需 6.3%的训练时间。
May, 2024
Wild-GS 是一种针对无约束的照片集合进行优化的 3D 高斯粒子着色方法,它通过将引用视图的像素外观特征与相应的局部高斯进行对齐来有效地将高频细节的外观传输到 3D 空间,并在训练和推断中实现了最高的渲染性能和效率。
Jun, 2024
基于神经渲染技术,本研究提出了一种使用 3D Half-Gaussian 核的方法,以改进当前 3D Gaussian splatting 方法的性能,在不影响渲染速度的情况下,在多个数据集上获得了最先进的渲染性能。
Jun, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器,将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性,我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外,我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。
Apr, 2024
提出了一种新的双分支结构 GSDF,它将 3D 高斯喷洒(3DGS)表示法的灵活和高效与神经符号距离场(SDF)相结合,通过相互指导和联合监督来缓解它们的局限性,并在各种场景上展示了我们的设计能够更准确、更详细地重建表面,并同时使 3DGS 渲染受益于与底层几何更加一致的结构。
Mar, 2024
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023