Wild-GS: 无拘束照片集实时新视角合成
使用高斯点的方法 (GS-W) 重建场景,为每个点引入独立的内在和动态外观特征,捕捉不变的场景外貌和动态变化,通过自适应采样策略以及 2D 可见性图减少瞬态遮挡器的影响。与之前的方法相比,GS-W 在渲染速度上提高了 1000 倍,并展示了更好的重建质量和细节。
Mar, 2024
基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能,本文提出了一种高效的基于点的可微渲染框架,用于从照片集合中重建场景,通过引入基于残差的球谐系数传输模块,将 3D 高斯扩散方法适应于不同的光照条件和光度后处理,同时引入了一个轻量级的空间注意力模块,可同时预测暂时遮挡物和隐含外观表示,实验结果表明,该方法在新视角和外观合成的渲染质量上优于现有方法,并拥有较高的收敛速度和渲染速度。
Jun, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
通过自我监督学习的新框架,我们能够在有限的噪声原始图像数量下,从原始图像中重建高动态范围(HDR)3DGS,克服了噪声的影响,提高了重建质量和推断速度。
Jun, 2024
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
通过学习高保真度的 4D 高斯点云分割场景表征,自校准相机参数,以及联合优化相机参数和 3D 结构,我们的方法在 4D 新视图合成方面展现出了显著的改进。
Jun, 2024
通过结构化的高斯表示和正则化优化,以及深度基于初始化来解决三维重建中稀疏输入图像的挑战,提高了与现有方法相比的重建质量。
Mar, 2024
提出了基于 3D 高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为 FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的 SfM 点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS 在包括 LLFF、Mip-NeRF360 和 Blender 在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023
通过在有限预算内进行训练和渲染,提出了一种改进的 3D 高斯粉碎(3DGS)模型,实现了较快速、高质量的新视图合成,并减少了模型大小和训练时间。
Jun, 2024