Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容
利用生成模型 Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如 ControlNet）的直接生成方法，在编辑由 NeRF 表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现 NeRF 修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。
Dec, 2023
提出了一种名为 MVIP-NeRF 的新方法，通过使用扩散先验来进行 NeRF 修复，解决了外观和几何方面的问题，实现了多视图共同修复和对齐。实验证明，与先前的 NeRF 修复方法相比，该方法在外观和几何恢复方面效果更好。
May, 2024
本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。
Nov, 2022
我们提出了一种基于多尺度个性化图像修复扩散模型的新型三维修复方法 RefFusion，通过引入参考图像，实现了对修复内容的显式控制，从而在保持高可控性的同时取得了最先进的物体去除效果。
Apr, 2024
本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。
Jun, 2023
我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用 NeRF 进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的 NeRF 修复结果。
Apr, 2024
从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。
Oct, 2023
提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。
Dec, 2022
介绍了一种名为 RealmDreamer 的技术，可以通过文本描述生成通用的正面视图 3D 场景，并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面，并通过多个视图进行 3D 修补和基于图像的扩散建模，从而生成富含几何结构的场景。最后，通过图像生成器的锐化样本对模型进行微调，而无需视频或多视角数据，同时还可以从单个图像合成 3D 场景。
Apr, 2024
该研究提出了一个新的解决方案 - RGBD^2，它可以从稀疏的 RGBD 视图中顺序生成新的 RGBD 视图，并将场景几何形状作为这些视图的融合结果。通过维护中间表面网格，并使用摄像机投影，将渲染的 RGBD 视图再次投影为部分表面并补充到中间网格中，以解决多视角不一致性的问题。这种方法在稀疏的 RGBD 输入中合成 3D 场景时具有优越性。
Dec, 2022