IJCAIJun, 2023

基于语义掩模和扩散模型的 NeRF 编辑

PDF
TL;DR本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。
neural radiance fieldsdiffusion models3d contentediting tasksreal-world datasets
发现论文，激发创造
  • 使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

    本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023

  • Inpaint4DNeRF: 具有生成扩散模型的可提示的时空 NeRF 补全

    利用生成模型 Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如 ControlNet）的直接生成方法，在编辑由 NeRF 表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现 NeRF 修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。

    Dec, 2023

  • 神经辐射场修复的潜在扩散模型驯服

    我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用 NeRF 进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的 NeRF 修复结果。

    Apr, 2024

  • IE-NeRF: 野外增强神经光辐射场的修复

    我们提出了一种使用自然辐射场（Neural Radiance Fields，NeRF）与野外无控制照片进行合成逼真新视图的新方法。我们的方法通过从图像修复技术中汲取灵感，扩展了 NeRF 的多层感知器（MLP），使其能够同时生成内在属性（静态颜色、密度）和外在瞬时掩蔽。我们引入了一个修补模块，利用瞬时掩蔽来有效排除遮挡，从而提高体积渲染质量。此外，我们提出了一种新的训练策略，并通过频率正则化来解决低频瞬时成分的稀疏问题。我们在互联网地标照片集合上对我们的方法进行评估，展示了其生成高质量新视图并达到最先进性能的能力。

    Jul, 2024

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023

  • SIGNeRF: 基于场景集成生成的神经辐射场

    SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。

    Jan, 2024

  • Sem2NeRF：将单视图语义掩模转换为神经辐射场

    本文提出了一个名为 Sem2NeRF 的框架，实现了从单视角语义掩码到 3D 物体模型的转换任务，并采用区域感知学习策略对映射的精度进行改进，其在两个基准数据集上表现优于多个强基线模型。

    Mar, 2022