Dec, 2023

Inpaint4DNeRF: 具有生成扩散模型的可提示的时空 NeRF 补全

PDF
TL;DR利用生成模型 Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如 ControlNet）的直接生成方法，在编辑由 NeRF 表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现 NeRF 修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。
neural radiance fieldsinpaint4dnerfgenerative modelsdiffusion modelsmultiview consistency
发现论文，激发创造
  • Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容

    本文介绍了一种新颖的方法，通过将 2D 扩散模型提炼为学习的 3D 场景表示（例如 NeRF），对给定的有掩模的多视图图像进行 3D 区域修补。

    Dec, 2023

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。

    Jun, 2023

  • 神经辐射场修复的潜在扩散模型驯服

    我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用 NeRF 进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的 NeRF 修复结果。

    Apr, 2024

  • InpaintNeRF360：文本引导的无限神经辐射场三维修复

    本研究提出了一种名为 InpaintNeRF360 的框架，通过自然语言指令的帮助，利用可提示分割模型对 NeRF 场景中缺失的区域进行修复。该方法应用了多个视角的分割以保证视角的一致，同时还利用感知先验进行后续的修整以确保视觉真实性并增强了无界面的面与正面场景的灵活性。

    May, 2023

  • 参考引导型可控神经辐射场修复

    本文提出了一种使用神经辐射场（NeRF）编辑工具进行图像修补的方法，仅需要一个修补后的场景参考视图和模板，通过新颖的渲染技术和基于图像修补工具的方法，可以在非参考视图上构造视图相关的效果，提供了更好的修补性能和用户控制。

    Apr, 2023

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • MVIP-NeRF：通过扩散先验进行 NeRF 场景的多视图 3D 修复

    提出了一种名为 MVIP-NeRF 的新方法，通过使用扩散先验来进行 NeRF 修复，解决了外观和几何方面的问题，实现了多视图共同修复和对齐。实验证明，与先前的 NeRF 修复方法相比，该方法在外观和几何恢复方面效果更好。

    May, 2024

  • SIGNeRF: 基于场景集成生成的神经辐射场

    SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。

    Jan, 2024

  • 使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

    本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023