本文介绍了一种新颖的方法，通过将 2D 扩散模型提炼为学习的 3D 场景表示（例如 NeRF），对给定的有掩模的多视图图像进行 3D 区域修补。

Dec, 2023

利用生成模型 Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如 ControlNet）的直接生成方法，在编辑由 NeRF 表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现 NeRF 修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。

Dec, 2023

提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。

Dec, 2022

我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用 NeRF 进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的 NeRF 修复结果。

Apr, 2024

本研究提出了一种基于神经反演渲染的多视角光度立体（MVPS）方法，能够同时估算几何形状、材料和光源，并且在人工渲染、再照明和材质编辑方面具有较高的精度。

Jul, 2022

从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

Oct, 2023

在这项研究中，我们介绍了一种专为少量航拍场景渲染量身定制的新方法，即多平面先验引导的神经辐射场模型（MPNeRF）。我们的关键洞察是航拍图像固有的几何规律可以加强稀疏航拍场景的神经辐射场模型。通过研究神经辐射场模型和多平面图像的行为，我们提出使用多平面先验指导神经辐射场模型的训练过程。通过引入 SwinV2 Transformer 和使用 SimMIM 进行预训练，我们的实验结果表明，MPNeRF 在非航拍环境中的性能超过了现有的最先进方法，即使只有三个视图可用，也可以将 SSIM 和 LPIPS 的性能提升三倍。希望我们的工作能为航拍场景中基于神经辐射场模型的应用开发提供启示。

Jun, 2024

MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

Oct, 2022

通过使用可靠的可见性先验计算，对 NeRF 模型进行训练和重构，实现了对场景的高质量视角转换，相较于传统的基于深度估计的约束方法有显著提升。

Apr, 2023

使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和 360 度场景，并展示了显著的性能改进。

Dec, 2023