本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

Nov, 2023

LiveNVS 是一个实时 RGB-D 重建系统，利用神经网络渲染方法，能够在实时流处理中进行神经网络的新视图合成，使用户能够实时虚拟探索场景并评估重建质量。

Nov, 2023

本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

Aug, 2021

我们提出了两种新的输入处理范例来对基于分层场景表示的新视角综合（NVS）方法进行改进，极大地提高了其运行时速度而不损失质量，实现了实时应用。

Dec, 2023

本研究提出了一种使用前向变形的神经辐射场 (NeRF) 方法，用于动态场景的新视角合成。通过在规范空间中表示静态 NeRF，并使用学习到的反向流场将采样的 3D 点映射回规范空间以渲染其他时间步骤的动态图像。然而，这种反向流场是非平滑和不连续的，难以适应常用的平滑运动模型。为解决这个问题，我们提出估计前向流场，并直接将规范辐射场变形到其他时间步骤。这种前向流场在对象区域内平滑和连续，有助于运动模型的学习。为实现这一目标，我们使用体素网格表示规范辐射场以实现高效的前向变形，并提出了可微分的变形过程，包括平均喷涂操作和修复网络，以解决多对一和一对多映射问题。详细实验证明，我们的方法在新视角合成和运动建模方面优于现有方法，验证了我们前向流动运动建模的有效性。

Sep, 2023

我们提出了一种逼真的实时小说视角综合（NVS）大场景的新方法，通过将中等质量的脚手架网格作为输入，学习神经纹理场和着色器以增强逼真感，同时使用标准图形管道进行实时渲染，我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与可比或更好的逼真度，我们的工作是首次实现大型真实世界场景的实时渲染。

Nov, 2023

本文提出了一种端到端的新视角合成框架，包括构建目标视角下的体积以及设计源视角的可见性估计模块和软射线投影机制，最终在端到端的自监督训练方式下，相较于现有方法提高了新视角的合成质量。

Mar, 2021

本文首先考虑了单张基于图像的新视图合成（NVS）问题中的视角相关效果。为此，我们提出利用 NVS 中的相机运动先验来建模视角相关的外观或效果（VDE），即场景中的负视差。通过识别光斑 “跟随” 相机运动，我们通过在极线的负深度区域上聚合输入像素颜色来融入 VDE。同时，我们提出了一种 “放宽的体积渲染” 近似方法，可以在单次遍历中计算密度，提高了从单张图像进行 NVS 的效率。我们的方法只需从图像序列中学习单张图像 NVS，这是一种完全自我监督学习方法，首次无需深度或相机姿态注释。我们展示了广泛的实验证明，我们的方法可以学习具有 VDE 的 NVS，在 RealEstate10k 和 MannequinChallenge 数据集上优于 SOTA 的单视角 NVS 方法。

Dec, 2023

多视角交叉模块提出了将可变长度的输入数据映射到固定大小的输出数据，进一步提高训练效率的两阶段训练策略。对多个数据集进行定性和定量评估，证明了所提方法相对于以前的方法的有效性。

Dec, 2023

用新颖的方法结合扩散模型和多模态数据以提高三维高斯飞溅对未见视角的渲染效果，有效增强了自动驾驶模拟中街景的新视角合成技术。

Mar, 2024