本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

Nov, 2023

本文提出了一种名为 FWD 的新颖视角综合方法，该方法使用稀疏输入，在保持实时性的同时以高质量的合成图像为结果。通过使用显式的深度和可微分渲染，可以获得和当前最先进的方法相当的结果，速度提高了 130-1000 倍，并具有更好的感知质量。该方法可以无缝地集成传感器深度，以在保持实时速度的同时提高图像质量。本方法有望得到越来越广泛而有用的应用。

Jun, 2022

我们提出了一种逼真的实时小说视角综合（NVS）大场景的新方法，通过将中等质量的脚手架网格作为输入，学习神经纹理场和着色器以增强逼真感，同时使用标准图形管道进行实时渲染，我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与可比或更好的逼真度，我们的工作是首次实现大型真实世界场景的实时渲染。

Nov, 2023

本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

Aug, 2021

本研究提出了一种可扩展的框架，用于从具有大部分不完整场景覆盖的 RGB-D 图像中合成新视图。 通过一种稀疏网格神经场景表示学习得到的场景分布对未观察到的场景部分进行完成。 最终，本方法的图形输出在未观察到的场景部分方面优于现有技术。

Jul, 2022

本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统，采用分层采样策略以及新颖的神经混合方案，能够在新视角下生成高质量的几何和逼真的贴图结果，实现了高质量的四维重建和逼真的自由视点重建。

Mar, 2021

本文首先考虑了单张基于图像的新视图合成（NVS）问题中的视角相关效果。为此，我们提出利用 NVS 中的相机运动先验来建模视角相关的外观或效果（VDE），即场景中的负视差。通过识别光斑 “跟随” 相机运动，我们通过在极线的负深度区域上聚合输入像素颜色来融入 VDE。同时，我们提出了一种 “放宽的体积渲染” 近似方法，可以在单次遍历中计算密度，提高了从单张图像进行 NVS 的效率。我们的方法只需从图像序列中学习单张图像 NVS，这是一种完全自我监督学习方法，首次无需深度或相机姿态注释。我们展示了广泛的实验证明，我们的方法可以学习具有 VDE 的 NVS，在 RealEstate10k 和 MannequinChallenge 数据集上优于 SOTA 的单视角 NVS 方法。

Dec, 2023

提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

Dec, 2021

本文提出了一种端到端的新视角合成框架，包括构建目标视角下的体积以及设计源视角的可见性估计模块和软射线投影机制，最终在端到端的自监督训练方式下，相较于现有方法提高了新视角的合成质量。

Mar, 2021

本文提出了 Instant-NVR，一种利用单个 RGBD 相机进行即时容积式人物 - 物体跟踪和渲染的神经方法。该方法在采用高鲁棒性的捕获方案提供足够运动先验的同时，通过多线程跟踪 - 渲染机制，将传统的非刚性跟踪与最近的实时辐射场技术联系起来。本文还介绍了一个在线关键帧选择方案和一个渲染感知的细化策略，以显著提高在线新视角综合的外观细节。

Apr, 2023