ICCVAug, 2023

混合 - NeRF：神经辐射场中基于文本的局部编辑

PDF
TL;DR为解决文本驱动的本地化编辑 3D 对象的困难，我们提出了一种基于 NeRF 模型的新方法 Blending-NeRF，它包括两个 NeRF 网络：预训练 NeRF 和可编辑 NeRF，并引入了新的混合操作来允许 Blending-NeRF 对局部文本定位的目标区域进行适当的编辑。通过使用预训练的视觉 - 语言对齐模型 CLIP，我们指导 Blending-NeRF 添加具有不同颜色和密度的新对象，修改纹理并移除原始对象的部分。我们的实验证明，Blending-NeRF 能够从各种文本提示中产生自然而局部编辑的 3D 对象。
text-drivenlocalized editing3d objectsblending-nerfpretrained nerf
发现论文，激发创造
  • Blended-NeRF: 在现有的神经辐射场中生成和混合零样本目标

    Blended-NeRF 是一种基于文本提示或图像贴片及 3D ROI 盒子的方法，利用预训练的语言 - 图像模型来操纵合成并混合一个新对象到现有的 NeRF 场景中实现对现有场景感兴趣区域的编辑，使用新颖的容积混合技术进行无痕混合。

    Jun, 2023

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • 通过 CLIP 知识的三维蒸馏进行本地三维编辑

    本文提出了一种名为 Local Editing NeRF（LENeRF）的方法，可以通过文本输入进行精细和本地化的 3D 内容操作，其中利用了三种 add-on 模块：潜在残差映射器、注意场网络和变形网络，通过估算 3D 注意场来实现 3D 特征的局部操作。

    Jun, 2023

  • CLIP-NeRF: 基于文本和图像的神经辐射场操纵

    CLIP-NeRF 是一种基于多模态 3D 物体操作的 NeRF 模型，利用 CLIP 模型的联合语言 - 图像嵌入空间，提出了一种统一框架，允许使用短文本提示或示例图像以用户友好的方式进行 NeRF 操作和生成，通过引入解缠绕条件 NeRF 结构，实现对物体形状和外观的颜色进行控制，并提出了两种代码映射器，并通过 CLIP 匹配损失训练，可以准确地将输入映射到潜在的代码中以进行编辑。

    Dec, 2021

  • 使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

    本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • Text2NeRF: 使用神经辐射场进行文本驱动的 3D 场景生成

    Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度，多视角一致性和多样性的真实感 3D 场景。

    May, 2023

  • FaceCLIPNeRF：使用可变形神经辐射场实现基于文本的 3D 人脸操控

    为了操控 3D 重建的人脸，我们提出了一种使用单个文本进行操作的方法，通过训练场景操控器和空间变化的潜在代码来实现，进而在文本驱动下进行操作，实验证明了这种方法的有效性。

    Jul, 2023

  • ED-NeRF：使用潜空间进行高效的文本导向 3D 场景编辑

    我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法，通过将真实场景嵌入潜变扩散模型的潜入空间中，通过独特的细化层，实现了更快速和更易编辑的 NeRF 骨干，同时我们提出了一种改进的针对编辑的损失函数，这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明，ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。

    Oct, 2023

  • 通过局部 - 全局迭代训练自定义你的 NeRF：自适应源驱动的三维场景编辑

    本研究提出了一个名为 CustomNeRF 的模型，通过将文本描述或参考图像作为编辑提示，实现自适应源驱动的三维场景编辑任务。通过提出局部 - 全局迭代编辑（LGIE）训练方案来应对前景区域和多视角一致性等两个重要挑战。此外，还设计了一种基于类别先验的正则化方法，用于解决图像驱动编辑中不同视图之间的不一致性问题。广泛的实验结果表明，CustomNeRF 模型在文本和图像驱动的情景下能够产生精确的编辑结果。

    Dec, 2023

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022