CVPRMar, 2023

基于多平面特征表示的高效视角合成和基于 3D 的多帧降噪

PDF
TL;DR本文介绍了第一种基于三维场景表示的多帧去噪方法，扩展了多平面图像 (MPI) 框架用于新视角合成，最终实现了视角合成、多帧去噪和在嘈杂条件下的视角合成。
multi-frame restorationvolumetric scene representations3d-based denoisingmpi frameworkmultiplane feature
发现论文，激发创造
  • 在野外应用学习的自适应多面板图像进行单视图合成

    本文提出一种基于多平面图像（MPI）表示的新方法来合成野外照片的新视角，结合深度估计和颜色填充技术，通过多平面图像表示解决具有复杂 3D 几何的场景，使用大规模立体训练数据并经过实验验证达到最新成果。

    May, 2022

  • DeepView: 用学习梯度下降生成视图合成

    利用多平面图像 (MPI)，采用基于梯度下降的学习方法，使用来自一组稀疏摄像机视角的图像，实现视点合成，并具有遮挡理解功能，在具有高深度复杂性的场景中，改进了物体边界、光反射和薄结构等具有挑战性的场景特点，并且在我们提供的 Kalantari 光场数据集和全新的 Spaces 相机阵列数据集上均获得了高质量的最新成果。

    Jun, 2019

  • SinMPI: 从单图像中生成扩展的多平面图像的新观点合成

    提出了 SinMPI 方法，通过扩展的多平面图像作为 3D 场景表示，使用稳定扩散生成超出视野内容并优化多平面图像，从而显著扩展了透视范围，生成高质量的新视图图像。

    Dec, 2023

  • 单幅图像的适应性场景层次多平面图像表示与新视角合成

    基于改进的多平面图像（MPI），本文介绍了一种适应场景的分层多平面图像表示，用于从单幅图像合成新视角，观察到对于无界户外场景，深度分布变化显著，因此采用自适应分组策略来排列平面，进一步引入了分层细化分支，以呈现精细的几何和多尺度细节，该方法在 KITTI 数据集上合成大规模无界户外场景并具有显著的性能提升，在未见过的 Tanks and Temples 数据集上具有较好的泛化性能，代码和模型将公开。

    Sep, 2023

  • Temporal-MPI: 基于时间基础学习的动态场景建模多平面图像实现

    本文提出了一种新的基于时间的多平面图像（Temporal-MPI）动态场景表示方法，它能够以紧凑的时间基和系数来编码整个视频的丰富 3D 和动态变化信息，并通过 Temporal-MPI 实时高质量地生成任意时刻的新视角。我们的方法在 Nvidia 动态场景数据集上进行训练和评估，证明了其比其他最先进的动态场景建模方法更快速更紧凑。

    Nov, 2021

  • fMPI: 野外快速新视角合成与分层场景表示

    我们提出了两种新的输入处理范例来对基于分层场景表示的新视角综合（NVS）方法进行改进，极大地提高了其运行时速度而不损失质量，实现了实时应用。

    Dec, 2023

  • 使用多平面图像进行单视图合成

    该论文利用深度学习技术对单张图片进行多平面图像生成，应用于视图合成问题中，并将 scale-invariant 视图合成应用于监督训练，在在线视频上进行训练。该方法适用于多个数据集，可以生成合理的深度图，并且可以学习填充前景物体背后的内容。

    Apr, 2020

  • 利用多平面图像推动视角插值的边界

    该论文探讨了使用极窄基线对图像进行视角合成的问题，并着重于生成带有合理深度间隙的高质量视角推断，提出了一种理论分析显示 MPI 的视角范围如何随着 MPI 视差采样频率的增加而线性增加，并提出一种 MPI 预测程序，理论上使视角推断的范围扩展了至少 4 倍。

    May, 2019

  • 用于实际三维摄影的平铺多平面图像

    通过生成适应性深度平面的分区式多平面图像（TMPI），提供了一种有效的方法来合成单视图的三维摄影图像，并具有较低的计算开销。

    Sep, 2023

  • Im4D: 动态场景的高保真实时新视角合成

    本文介绍了一种名为 Im4D 的混合场景表示方法，在动态视图合成方面表现出了先进的性能和高效的训练能力。

    Oct, 2023