Sep, 2023

单幅图像的适应性场景层次多平面图像表示与新视角合成

PDF
TL;DR基于改进的多平面图像（MPI），本文介绍了一种适应场景的分层多平面图像表示，用于从单幅图像合成新视角，观察到对于无界户外场景，深度分布变化显著，因此采用自适应分组策略来排列平面，进一步引入了分层细化分支，以呈现精细的几何和多尺度细节，该方法在 KITTI 数据集上合成大规模无界户外场景并具有显著的性能提升，在未见过的 Tanks and Temples 数据集上具有较好的泛化性能，代码和模型将公开。
novel view synthesissamplingmultiplane imageshierarchical refinementunbounded outdoor scenes
发现论文，激发创造
  • 在野外应用学习的自适应多面板图像进行单视图合成

    本文提出一种基于多平面图像（MPI）表示的新方法来合成野外照片的新视角，结合深度估计和颜色填充技术，通过多平面图像表示解决具有复杂 3D 几何的场景，使用大规模立体训练数据并经过实验验证达到最新成果。

    May, 2022

  • SinMPI: 从单图像中生成扩展的多平面图像的新观点合成

    提出了 SinMPI 方法，通过扩展的多平面图像作为 3D 场景表示，使用稳定扩散生成超出视野内容并优化多平面图像，从而显著扩展了透视范围，生成高质量的新视图图像。

    Dec, 2023

  • 用于实际三维摄影的平铺多平面图像

    通过生成适应性深度平面的分区式多平面图像（TMPI），提供了一种有效的方法来合成单视图的三维摄影图像，并具有较低的计算开销。

    Sep, 2023

  • Temporal-MPI: 基于时间基础学习的动态场景建模多平面图像实现

    本文提出了一种新的基于时间的多平面图像（Temporal-MPI）动态场景表示方法，它能够以紧凑的时间基和系数来编码整个视频的丰富 3D 和动态变化信息，并通过 Temporal-MPI 实时高质量地生成任意时刻的新视角。我们的方法在 Nvidia 动态场景数据集上进行训练和评估，证明了其比其他最先进的动态场景建模方法更快速更紧凑。

    Nov, 2021

  • 利用多平面图像推动视角插值的边界

    该论文探讨了使用极窄基线对图像进行视角合成的问题，并着重于生成带有合理深度间隙的高质量视角推断，提出了一种理论分析显示 MPI 的视角范围如何随着 MPI 视差采样频率的增加而线性增加，并提出一种 MPI 预测程序，理论上使视角推断的范围扩展了至少 4 倍。

    May, 2019

  • 基于多平面特征表示的高效视角合成和基于 3D 的多帧降噪

    本文介绍了第一种基于三维场景表示的多帧去噪方法，扩展了多平面图像 (MPI) 框架用于新视角合成，最终实现了视角合成、多帧去噪和在嘈杂条件下的视角合成。

    Mar, 2023

  • 众包采样光场函数

    本文介绍了一种基于多平面图像格式的新型视角合成方法，在不需要时间注册的情况下，从非结构化的照片集合中无监督地学习了这些效果的模型，并具有实时合成连续的空间和时间照明变化下逼真图像的能力，其中 DeepMPI 表现出了非常好的稀疏性能。

    Jul, 2020

  • DeepView: 用学习梯度下降生成视图合成

    利用多平面图像 (MPI)，采用基于梯度下降的学习方法，使用来自一组稀疏摄像机视角的图像，实现视点合成，并具有遮挡理解功能，在具有高深度复杂性的场景中，改进了物体边界、光反射和薄结构等具有挑战性的场景特点，并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。

    Jun, 2019

  • 使用多平面图像进行单视图合成

    该论文利用深度学习技术对单张图片进行多平面图像生成，应用于视图合成问题中，并将 scale-invariant 视图合成应用于监督训练，在在线视频上进行训练。该方法适用于多个数据集，可以生成合理的深度图，并且可以学习填充前景物体背后的内容。

    Apr, 2020

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018