CoherentGS:具有连贯性的稀疏新视角合成与连贯 3D 高斯函数
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
该论文介绍了一种新的协同正则化方法来改善稀疏视图下 3D 高斯光场的重建质量,通过评估高斯点表示之间的注册以及渲染像素之间的差异来量化点和渲染不一致性,进一步研究表明这两种不一致性与精确的重建之间存在负相关,基于这些研究结果,提出了一种名为 CoR-GS 的方法来鉴别和抑制不准确的重建,并在多个数据集上验证了该方法的有效性。
May, 2024
通过自我监督学习的新框架,我们能够在有限的噪声原始图像数量下,从原始图像中重建高动态范围(HDR)3DGS,克服了噪声的影响,提高了重建质量和推断速度。
Jun, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
Wild-GS 是一种针对无约束的照片集合进行优化的 3D 高斯粒子着色方法,它通过将引用视图的像素外观特征与相应的局部高斯进行对齐来有效地将高频细节的外观传输到 3D 空间,并在训练和推断中实现了最高的渲染性能和效率。
Jun, 2024
通过在有限预算内进行训练和渲染,提出了一种改进的 3D 高斯粉碎(3DGS)模型,实现了较快速、高质量的新视图合成,并减少了模型大小和训练时间。
Jun, 2024
基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能,本文提出了一种高效的基于点的可微渲染框架,用于从照片集合中重建场景,通过引入基于残差的球谐系数传输模块,将 3D 高斯扩散方法适应于不同的光照条件和光度后处理,同时引入了一个轻量级的空间注意力模块,可同时预测暂时遮挡物和隐含外观表示,实验结果表明,该方法在新视角和外观合成的渲染质量上优于现有方法,并拥有较高的收敛速度和渲染速度。
Jun, 2024
DNGaussian 是一种基于 3D 高斯辐射场的深度正则化框架,能够以较低成本实时高质量地进行少样本新视角合成,通过硬和软深度正则化以及全局 - 局部深度归一化等方法,恢复精确的场景几何和细节几何重塑,性能优于现有方法。
Mar, 2024
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023