CVPRApr, 2018

用于单图像新视角合成的几何感知深度网络

PDF
TL;DR本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。
novel view synthesis3d geometrygeometric structurehomographiesregion masks
发现论文，激发创造
  • 面向变换的图像生成网络用于新型 3D 视角合成

    提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

    Mar, 2017

  • 几何图像合成

    本研究提出了一种可训练的、基于几何感知的图像生成方法，利用几何和分割等场景信息生成逼真自然、符合期望的场景结构的图像，并通过 GIS 框架插入驾驶场景中的车辆、生成来自 Linemod 数据集的物体新视角，展示其能够广泛适用于新颖的场景、物体形状和分割，且可用于合成大量训练数据以训练实例分割模型。

    Sep, 2018

  • SynSin：从单张图像到端到端的视角合成

    本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

    Dec, 2019

  • G-NeRF: 单视图图像的几何增强新视角合成

    通过使用 Geometry-enhanced NeRF (G-NeRF) 方法，在 novel view synthesis 中增强几何先验，通过几何引导的多视角合成方法和深度感知型训练，解决了多视角数据不足和单视角图像几何先验提取问题，并通过定剪方法和深度感知鉴别器进一步提高了几何品质。实验证明了我们方法在定量和定性结果上的有效性。

    Apr, 2024

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • 在野外应用学习的自适应多面板图像进行单视图合成

    本文提出一种基于多平面图像（MPI）表示的新方法来合成野外照片的新视角，结合深度估计和颜色填充技术，通过多平面图像表示解决具有复杂 3D 几何的场景，使用大规模立体训练数据并经过实验验证达到最新成果。

    May, 2022

  • 单视角非刚性形状预测的几何感知网络

    提出了一种基于几何感知的深度学习方法，能够在没有预先注册表面模板的情况下，通过单一视角的输入图像，精确预测可变形表面的 3D 形状， 并采用合成数据集和真实基准数据集的实验证明其在 3D 形状预测上超越同类算法，且计算时间明显减少。

    Sep, 2018

  • DeepStereo：从世界影像中学习预测新视角

    本文提出了一种新颖的深度神经网络架构，其可直接从像素级数据对图像进行新视图综合，并通过端到端的训练实现。与传统的多阶段处理方法不同，该系统具有广泛适用性和高质量的结果，是深度学习应用于真实自然图像综合的首例研究。

    Jun, 2015

  • 从单张图像中无监督生成新视角

    本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

    Feb, 2021

  • 使用多平面图像进行单视图合成

    该论文利用深度学习技术对单张图片进行多平面图像生成，应用于视图合成问题中，并将 scale-invariant 视图合成应用于监督训练，在在线视频上进行训练。该方法适用于多个数据集，可以生成合理的深度图，并且可以学习填充前景物体背后的内容。

    Apr, 2020