SGD:基于高斯点描和扩散先验的街景合成
通过学习高保真度的 4D 高斯点云分割场景表征,自校准相机参数,以及联合优化相机参数和 3D 结构,我们的方法在 4D 新视图合成方面展现出了显著的改进。
Jun, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
通过自我监督学习的方法,在不使用 3D 注释的情况下,我们提出了一种自适应街景高斯方法来分解静态和动态元素并取得最佳性能。
May, 2024
基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能,本文提出了一种高效的基于点的可微渲染框架,用于从照片集合中重建场景,通过引入基于残差的球谐系数传输模块,将 3D 高斯扩散方法适应于不同的光照条件和光度后处理,同时引入了一个轻量级的空间注意力模块,可同时预测暂时遮挡物和隐含外观表示,实验结果表明,该方法在新视角和外观合成的渲染质量上优于现有方法,并拥有较高的收敛速度和渲染速度。
Jun, 2024
使用高动态范围高斯点云模型和多层感知器(MLP)调制,建立了一种新的高动态范围高斯喷点(HDR-GS)框架,以有效渲染新的高动态范围(HDR)视图和重建低动态范围(LDR)图像,并通过两个并行可微光栅化(PDR)过程对 HDR 和 LDR 视图进行重建。实验证明,该方法在 LDR 和 HDR NVS 上分别超过了现有的 NeRF 方法 3.84 和 1.91 dB,同时拥有 1000 倍的推理速度和仅需 6.3%的训练时间。
May, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
Wild-GS 是一种针对无约束的照片集合进行优化的 3D 高斯粒子着色方法,它通过将引用视图的像素外观特征与相应的局部高斯进行对齐来有效地将高频细节的外观传输到 3D 空间,并在训练和推断中实现了最高的渲染性能和效率。
Jun, 2024
通过自我监督学习的新框架,我们能够在有限的噪声原始图像数量下,从原始图像中重建高动态范围(HDR)3DGS,克服了噪声的影响,提高了重建质量和推断速度。
Jun, 2024
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023