Oct, 2023

ED-NeRF：使用潜空间进行高效的文本导向3D场景编辑

HTML
PDF
TL;DR我们介绍了一种名为ED-NeRF的创新的三维NeRF编辑方法，通过将真实场景嵌入潜变扩散模型的潜入空间中，通过独特的细化层，实现了更快速和更易编辑的NeRF骨干，同时我们提出了一种改进的针对编辑的损失函数，这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明，ED-NeRF在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
发现论文，激发创造
  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的3D物体生成和编辑

    本文提出了一种基于文本引导扩散模型的3D场景生成、编辑和新视角合成方法，并重点讨论了3D一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的3D内容进行编辑，此方法可以有效地改善NeRF的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对NeRF中的3D目标具有改进的效果。

    Jun, 2023

  • 使用2D扩散模型对3D神经辐射场进行编辑的Edit-DiffNeRF

    本文提出了一种名为Edit-DiffNeRF的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对3D场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • Blended-NeRF: 在现有的神经辐射场中生成和混合零样本目标

    Blended-NeRF是一种基于文本提示或图像贴片及3D ROI盒子的方法，利用预训练的语言-图像模型来操纵合成并混合一个新对象到现有的NeRF场景中实现对现有场景感兴趣区域的编辑，使用新颖的容积混合技术进行无痕混合。

    Jun, 2023

  • 无需重新训练的基于文本的3D场景编辑

    我们引入了一种名为DN2N的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改3D场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化NeRF模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

    Sep, 2023

  • 高效NeRF2NeRF：利用多视角对应增强的扩散模型简化文本驱动的3D编辑

    通过将对应关系正则化引入扩散模型，可以显著加快3D编辑过程，该方法使得在大多数情况下与基线方法相比速度提高了10倍，并在2分钟内完成了3D场景的编辑。

    Dec, 2023

  • 潜编辑器：基于文本驱动的3D场景局部编辑

    通过引入 `LatentEditor` 框架，利用文本提示实现对神经场的精确和局部控制编辑，从而在潜空间中实现更快速、更适应性强的 3D 场景编辑。

    Dec, 2023

  • 基于Nerf的3D场景编辑技术的探索与改进

    本研究综述了近年来学者们在NeRF场景或对象编辑领域的初步探索，并通过将GaN和Transformer等残差模型与NeRF相结合，进一步扩展了NeRF场景编辑的泛化能力，其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D合成性能，以及在光影编辑方面的深入探索，首次实现了复杂场景中间接触编辑和细节表达的优化。然而，在处理更复杂或更大的3D场景时，很难在准确性、广度、效率和质量之间取得平衡，克服这些挑战可能成为未来NeRF 3D场景编辑技术的方向。

    Jan, 2024

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用NeRF场景的几何信息作为桥梁来整合2D编辑的方法，并引入了一种填充方法来确保对不同图像的2D编辑具有鲁棒性。结果表明，该方法比现有的文本驱动NeRF场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • NeRF-Insert：基于多模态控制信号的三维局部编辑

    我们提出了一种NeRF编辑框架NeRF-Insert，允许用户以灵活的控制水平进行高质量的本地编辑。与先前依赖于图像到图像模型的工作不同，我们将场景编辑视为一种修补问题，鼓励保持全局结构的场景。此外，尽管大多数现有方法仅使用文本提示来调整编辑，我们的框架接受不同模态的输入组合作为参考，包括图像、CAD模型和二进制图像掩码来指定一个3D区域。我们使用通用图像生成模型从多个视点修复场景，并将本地编辑提升为与原始NeRF保持一致的3D编辑。与先前方法相比，我们的结果表现出更好的视觉质量，并与原始NeRF保持更强的一致性。

    Apr, 2024