Oct, 2023

ED-NeRF：使用潜空间进行高效的文本导向 3D 场景编辑

PDF
TL;DR我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法，通过将真实场景嵌入潜变扩散模型的潜入空间中，通过独特的细化层，实现了更快速和更易编辑的 NeRF 骨干，同时我们提出了一种改进的针对编辑的损失函数，这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明，ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
text-to-image diffusion models3d modelsnerf editinglatent diffusion modelloss function
发现论文，激发创造
  • 使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

    本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • 潜编辑器：基于文本驱动的 3D 场景局部编辑

    通过引入 `LatentEditor` 框架，利用文本提示实现对神经场的精确和局部控制编辑，从而在潜空间中实现更快速、更适应性强的 3D 场景编辑。

    Dec, 2023

  • 无需重新训练的基于文本的 3D 场景编辑

    我们引入了一种名为 DN2N 的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改 3D 场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化 NeRF 模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

    Sep, 2023

  • 形状引导的三维形状和纹理生成的潜在神经辐射场模型 (Latent-NeRF)

    本文介绍了如何采用分数蒸馏技术，在以图像为操作空间的 NeRF 模型中利用潜空间分数生成三维对象。同时，还提出了一种利用草图风格引导的 Latent-NeRF 模型，增加了对生成过程的控制能力，并在此基础上进一步将文本和草图风格引导结合，为生成高质量纹理的三维对象提供了有效的实现方法。

    Nov, 2022

  • 基于 Nerf 的 3D 场景编辑技术的探索与改进

    本研究综述了近年来学者们在 NeRF 场景或对象编辑领域的初步探索，并通过将 GaN 和 Transformer 等残差模型与 NeRF 相结合，进一步扩展了 NeRF 场景编辑的泛化能力，其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D 合成性能，以及在光影编辑方面的深入探索，首次实现了复杂场景中间接触编辑和细节表达的优化。然而，在处理更复杂或更大的 3D 场景时，很难在准确性、广度、效率和质量之间取得平衡，克服这些挑战可能成为未来 NeRF 3D 场景编辑技术的方向。

    Jan, 2024

  • 混合 - NeRF：神经辐射场中基于文本的局部编辑

    为解决文本驱动的本地化编辑 3D 对象的困难，我们提出了一种基于 NeRF 模型的新方法 Blending-NeRF，它包括两个 NeRF 网络：预训练 NeRF 和可编辑 NeRF，并引入了新的混合操作来允许 Blending-NeRF 对局部文本定位的目标区域进行适当的编辑。通过使用预训练的视觉 - 语言对齐模型 CLIP，我们指导 Blending-NeRF 添加具有不同颜色和密度的新对象，修改纹理并移除原始对象的部分。我们的实验证明，Blending-NeRF 能够从各种文本提示中产生自然而局部编辑的 3D 对象。

    Aug, 2023

  • 通过 CLIP 知识的三维蒸馏进行本地三维编辑

    本文提出了一种名为 Local Editing NeRF（LENeRF）的方法，可以通过文本输入进行精细和本地化的 3D 内容操作，其中利用了三种 add-on 模块：潜在残差映射器、注意场网络和变形网络，通过估算 3D 注意场来实现 3D 特征的局部操作。

    Jun, 2023

  • 高效 NeRF2NeRF：利用多视角对应增强的扩散模型简化文本驱动的 3D 编辑

    通过将对应关系正则化引入扩散模型，可以显著加快 3D 编辑过程，该方法使得在大多数情况下与基线方法相比速度提高了 10 倍，并在 2 分钟内完成了 3D 场景的编辑。

    Dec, 2023

  • Text2NeRF: 使用神经辐射场进行文本驱动的 3D 场景生成

    Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度，多视角一致性和多样性的真实感 3D 场景。

    May, 2023