LiveNVS 是一个实时 RGB-D 重建系统，利用神经网络渲染方法，能够在实时流处理中进行神经网络的新视图合成，使用户能够实时虚拟探索场景并评估重建质量。

Nov, 2023

本文首先考虑了单张基于图像的新视图合成（NVS）问题中的视角相关效果。为此，我们提出利用 NVS 中的相机运动先验来建模视角相关的外观或效果（VDE），即场景中的负视差。通过识别光斑 “跟随” 相机运动，我们通过在极线的负深度区域上聚合输入像素颜色来融入 VDE。同时，我们提出了一种 “放宽的体积渲染” 近似方法，可以在单次遍历中计算密度，提高了从单张图像进行 NVS 的效率。我们的方法只需从图像序列中学习单张图像 NVS，这是一种完全自我监督学习方法，首次无需深度或相机姿态注释。我们展示了广泛的实验证明，我们的方法可以学习具有 VDE 的 NVS，在 RealEstate10k 和 MannequinChallenge 数据集上优于 SOTA 的单视角 NVS 方法。

Dec, 2023

本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

Aug, 2021

本文提出了一种名为 FWD 的新颖视角综合方法，该方法使用稀疏输入，在保持实时性的同时以高质量的合成图像为结果。通过使用显式的深度和可微分渲染，可以获得和当前最先进的方法相当的结果，速度提高了 130-1000 倍，并具有更好的感知质量。该方法可以无缝地集成传感器深度，以在保持实时速度的同时提高图像质量。本方法有望得到越来越广泛而有用的应用。

Jun, 2022

本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

Mar, 2022

提出了一种针对多视点立体相机图像的第一种通用视角合成方法，该方法引入了立体匹配以实现高质量的几何重建。该方法包括三个关键组件：立体特征提取器、深度引导的平面扫描和立体深度损失，并提出了第一个多视点数据集 StereoNVS，实验证明该方法优于以前的方法。

Apr, 2024

基于已知视图的创新视图综合的问题，我们提出了一种基于集合的生成模型，可以同时生成多个自洽的新视图，不仅限于生成单个图像，而且可以根据零个、一个或多个视图进行条件生成，可在大量视图生成中保持图像质量，并在像循环和双目轨迹等任务上显著优于其他方法。

Feb, 2024

本研究提出了一种可扩展的框架，用于从具有大部分不完整场景覆盖的 RGB-D 图像中合成新视图。 通过一种稀疏网格神经场景表示学习得到的场景分布对未观察到的场景部分进行完成。 最终，本方法的图形输出在未观察到的场景部分方面优于现有技术。

Jul, 2022

本文提出了一种端到端的新视角合成框架，包括构建目标视角下的体积以及设计源视角的可见性估计模块和软射线投影机制，最终在端到端的自监督训练方式下，相较于现有方法提高了新视角的合成质量。

Mar, 2021

我们引入了一个三维感知扩散模型 ZeroNVS，用于野外场景下的单图像新视图合成。通过训练一种生成式先验模型来处理多物体场景和复杂背景带来的挑战，提出了新的技术。我们还提出了一种新颖的相机条件参数化和归一化方案，以解决深度尺度的二义性问题。此外，我们注意到 Score Distillation Sampling（SDS）在蒸馏 360 度场景时倾向于截断复杂背景的分布，并提出了 “SDS anchoring” 以改善合成新视图的多样性。我们的模型在 DTU 数据集的零样本设置中取得了新的 LPIPS 优势，甚至优于专门在 DTU 上训练的方法。我们进一步将具有挑战性的 Mip-NeRF 360 数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大的性能。我们的代码和数据位于此 http URL。

Oct, 2023