本文首先考虑了单张基于图像的新视图合成（NVS）问题中的视角相关效果。为此，我们提出利用 NVS 中的相机运动先验来建模视角相关的外观或效果（VDE），即场景中的负视差。通过识别光斑 “跟随” 相机运动，我们通过在极线的负深度区域上聚合输入像素颜色来融入 VDE。同时，我们提出了一种 “放宽的体积渲染” 近似方法，可以在单次遍历中计算密度，提高了从单张图像进行 NVS 的效率。我们的方法只需从图像序列中学习单张图像 NVS，这是一种完全自我监督学习方法，首次无需深度或相机姿态注释。我们展示了广泛的实验证明，我们的方法可以学习具有 VDE 的 NVS，在 RealEstate10k 和 MannequinChallenge 数据集上优于 SOTA 的单视角 NVS 方法。

Dec, 2023

本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

Nov, 2023

本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

Aug, 2021

本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

Jul, 2021

该研究提出了一种名为 Stable View Synthesis（SVS）的方法，利用结构从运动和多视角立体技术生成几何脚手架，并通过处理每个点的方向特征向量合成新的特征，再用卷积网络从合成的特征张量中渲染出目标图像，实现获取展示场景并进行合成视图的能力，并在三个不同世界数据集上得到了优异的性能表现。

Nov, 2020

本论文主要探讨基于学习的单个或有限 2D 图像的新视角合成，提出了一个端到端可训练的条件变分框架，通过空间相关模块从外观描述图像中提取全局的 3D 表示形状、纹理和以观察者为中心的坐标系原点等，实现无需显式 3D 重建即可隐含 3D 理解。

Jul, 2020

本文提出了一种名为 FWD 的新颖视角综合方法，该方法使用稀疏输入，在保持实时性的同时以高质量的合成图像为结果。通过使用显式的深度和可微分渲染，可以获得和当前最先进的方法相当的结果，速度提高了 130-1000 倍，并具有更好的感知质量。该方法可以无缝地集成传感器深度，以在保持实时速度的同时提高图像质量。本方法有望得到越来越广泛而有用的应用。

Jun, 2022

基于已知视图的创新视图综合的问题，我们提出了一种基于集合的生成模型，可以同时生成多个自洽的新视图，不仅限于生成单个图像，而且可以根据零个、一个或多个视图进行条件生成，可在大量视图生成中保持图像质量，并在像循环和双目轨迹等任务上显著优于其他方法。

Feb, 2024

通过联合优化图像生成和深度估计的框架，我们的方法在无视角预测的任务上取得了较高的生成图像质量和更准确的目标视角深度。

Aug, 2023

本文提出了一种新的方法，可以从自由分布在场景周围的输入图像中合成新视角的图像，不依赖于输入视角的规则排列，可以为场景中的自由相机运动合成图像，并适用于具有任意几何布局的通用场景，该方法通过 SfM 对输入图像进行校准并通过 MVS 建立一个粗略的几何支架，然后基于透视图创建一个代理深度图，进而利用循环编解码网络处理从附近视角重新投影的特征，并合成新视角。该网络不需要针对特定场景进行优化，通过数据集训练后，可以在之前看不到的环境中工作，本文的方法在 Tanks and Temples 等具有挑战性的现实世界数据集上进行了评估和实验证明，表现出色，大大优于之前和同时进行的工作。

Aug, 2020