May, 2024

无需相机姿态的稀疏视角合成的构造优化方法

PDF
TL;DR通过利用 3D 高斯喷洒方法，我们开发了一种无需相机姿态的稀疏视图合成的新构建和优化方法，通过在构建过程中使用单目深度和将像素投影回 3D 世界来逐步构建解决方案，并通过检测训练视图与对应的渲染图像之间的 2D 对应关系，我们开发了一种统一可微的管道来完成相机注册和相机姿态与深度的调整，最后进行反投影。我们引入了高斯喷洒中预期表面的新概念，这对我们的优化至关重要。这些步骤使得我们能够获得一个粗糙的解决方案，然后可以使用标准优化方法进行低通滤波和细化。在 Tanks 和 Temples 以及 Static Hikes 数据集上，我们展示了仅使用三个广泛间隔的视图的结果，显示出明显优于竞争方法的质量，包括那些具有近似相机姿态信息的方法。此外，我们的结果在使用一半数据集时，随着视图数量的增加而改善，并且在使用 InstantNGP 和高斯喷洒算法时超过了先前的方法。
sparse view synthesiscamera registrationmonocular depth estimationgaussian splattingneural radiance field algorithms
发现论文，激发创造
  • InstantSplat：40 秒内无界稀疏姿态无关高斯点云绘制

    通过将点云表示与端到端的稠密立体模型相结合，InstantSplat 能够在不到 1 分钟的时间内从稀疏视图和无姿态图像中构建大规模场景的三维高斯平面，并显著提高 SSIM （32%）且同时降低绝对轨迹误差（ATE）80%。

    Mar, 2024

  • SparseGS：使用高斯投影进行实时 360° 稀疏视图合成

    我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法，通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。

    Nov, 2023

  • 快速明确的神经视图合成

    本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

    Jul, 2021

  • 增强稳定视角合成

    本文介绍了一种基于多视角几何基础的方法，旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿，并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明，该方法较之现有技术提高了相当多的综合效果。

    Mar, 2023

  • DeepView: 用学习梯度下降生成视图合成

    利用多平面图像 (MPI)，采用基于梯度下降的学习方法，使用来自一组稀疏摄像机视角的图像，实现视点合成，并具有遮挡理解功能，在具有高深度复杂性的场景中，改进了物体边界、光反射和薄结构等具有挑战性的场景特点，并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。

    Jun, 2019

  • 通过新型立体视角从高斯点云实现的曲面重建

    从高斯图形点渲染模型进行表面重构的方法能够产生更准确、更详细的重建结果，并且相较于其他方法，其计算时间更短。

    Apr, 2024

  • 3D 高斯补洞在少样本图像中的深度正则化优化

    通过引入密集深度图，用于减轻过拟合问题，我们提出了一种方法来优化具有有限图像数量的高斯喷洒。我们通过将众多高斯喷溅结合起来表示 3D 场景，取得了出色的视觉效果。我们使用预训练的单目深度估计模型获取深度图，然后通过稀疏 COLMAP 特征点对其进行缩放和偏移的调整。调整后的深度图有助于基于颜色的 3D 高斯喷溅优化，减轻浮动伪影并确保符合几何约束。我们在具有不同数量的少量图像的 NeRF-LLFF 数据集上验证了该方法，与仅依赖图像的原始方法相比，我们的方法展示了稳健的几何性能。

    Nov, 2023

  • 利用高斯光疙瘩从单目视频中进行自校准的 4D 新视图合成

    通过学习高保真度的 4D 高斯点云分割场景表征，自校准相机参数，以及联合优化相机参数和 3D 结构，我们的方法在 4D 新视图合成方面展现出了显著的改进。

    Jun, 2024

  • COLMAP 免费的三维高斯糊点

    本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题，通过使用显式几何表示和输入视频流的连续性，实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。

    Dec, 2023

  • SC-GS：用于可编辑动态场景的稀疏控制高斯喷洒

    基于高斯散开技术的稀疏控制点和稠密高斯的运动与外观分解，用于动态场景的新视角合成。

    Dec, 2023