隐式和显式几何变换的单张图片视角合成桥接

Sep, 2022

隐式和显式几何变换的单张图片视角合成桥接

Bridging Implicit and Explicit Geometric Transformation for Single-Image View Synthesis

Byeongjun Park, Hyojun Go, Changick Kim

TL;DR本文提出了一种基于单张图像视角综合框架来缓解自回归模型计算代价大，权衡保留重投影内容和完整实境外内容等两个目标的困境，同时使用高效的非自回归模型和引入的损失函数来实现，可以有效地提高图像视角综合的效率。

Abstract

Creating novel views from a single image has achieved tremendous strides with advanced autoregressive models, as unseen regions have to be inferred from the visible scene contents. Although recent methods generate high-quality novel views, synthesizing with only one explicit or implicit 3D geometry has a trade-off between two objectives that we call the "see

single-image view synthesis non-autoregressive model loss function seesaw problem efficiency

发现论文，激发创造

SynSin：从单张图像到端到端的视角合成

本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

Dec, 2019

具有扩散模型的长期光度一致的新视角综合

本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

Apr, 2023

用于单图像新视角合成的几何感知深度网络

本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

Apr, 2018

基于几何引导的条件生成对抗网络的跨视角图像合成

本文提出了基于几何约束的跨视图图像合成方法，该方法包含使用单应性矩阵将图像映射到另一个视图，利用生成式对抗网络对转换后的图像进行缺失区域修复，实现更为逼真的图像合成效果。

Aug, 2018

从单张图像中无监督生成新视角

本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

Feb, 2021

面向变换的图像生成网络用于新型 3D 视角合成

提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

Mar, 2017

2D GANs 遇见无监督单视角 3D 重建

提出了一种新的基于图像的神经隐式场方法，该方法利用基于 GAN 生成的多视图图像的 2D 监督，并通过不确定性模块来提高重构性能，从而实现了泛化物体的单视角 3D 重构。

Jul, 2022

基于单目神经网络的连续视角控制图像渲染

本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

Jan, 2019

语义视图合成

本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

Aug, 2020

生成视角合成：从单视角语义到新视角图像

本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

Aug, 2020