Aug, 2023

小心行动：通过文本指令进行本地图像和场景编辑

PDF
TL;DR我们提出了一种方法来定位文本指令中所隐含的期望编辑区域，并利用 InstructPix2Pix（IP2P）来确定在有和无指令的情况下 IP2P 预测之间的差异，以此差异作为相关性地图。相关性地图传达了每个像素更改的重要性，并用于指导修改，以确保不相关的像素保持不变。相关性地图进一步用于增强以神经辐射场形式的文本引导下 3D 场景的编辑质量。我们的方法在图像和 NeRF 编辑任务上实现了最先进的性能。
denoising diffusion modelstext instructionrelevance maptext-guided editingneural radiance fields
发现论文，激发创造
  • 专注于您的指导：通过注意力调节进行细粒度和多指令图像编辑

    通过引入 “Focus on Your Instruction (FoI)” 方法，该论文提出了一种基于扩散的编辑方法，能够实现精确和和谐的多指令编辑，优于现有方法的定量和定性评估。

    Dec, 2023

  • 潜编辑器：基于文本驱动的 3D 场景局部编辑

    通过引入 `LatentEditor` 框架，利用文本提示实现对神经场的精确和局部控制编辑，从而在潜空间中实现更快速、更适应性强的 3D 场景编辑。

    Dec, 2023

  • InstructPix2NeRF: 从单张图像指导的 3D 人像编辑

    通过建立一种名为 InstructPix2NeRF 的端到端扩散型框架，实现对单个开放世界图像的人类指导的三维感知人像编辑，实现了多语义编辑，保存了人像身份信息，并通过身份一致性模块增强了多视角三维身份的一致性，实验证明了该方法在定量和定性上的优越性。

    Nov, 2023

  • InstructRL4Pix：通过强化学习训练图像编辑的扩散

    通过使用增强学习引导图像编辑方法（InstructRL4Pix）来生成由目标对象的注意力地图引导的图像扩散模型，该方法通过计算注意力地图之间的距离作为奖励函数来最大化奖励模型的输出，并使用邻近策略优化（PPO）对扩散模型进行微调，以实现基于自然人命令的准确图像编辑。实验证实 InstructRL4Pix 突破了传统数据集的限制，利用无监督学习来优化编辑目标，并实现了精确的图像编辑。

    Jun, 2024

  • 通过 CLIP 知识的三维蒸馏进行本地三维编辑

    本文提出了一种名为 Local Editing NeRF（LENeRF）的方法，可以通过文本输入进行精细和本地化的 3D 内容操作，其中利用了三种 add-on 模块：潜在残差映射器、注意场网络和变形网络，通过估算 3D 注意场来实现 3D 特征的局部操作。

    Jun, 2023

  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • 区域：零样本指导下的局部编辑

    基于 Zero-shot 指令引导的局部图像编辑方法 ZONE 通过转换用户提供的指令，实现了对特定图像区域的任意操作，同时保留其他区域的编辑友好性，展现了出色的局部编辑效果，优于现有的最先进方法。

    Dec, 2023

  • LocInv: 文本指导图像编辑中的定位感知反转

    基于 T2I 扩散模型，本研究提出了一种局部感知反演（LocInv）方法，通过利用分割地图或边界框作为额外的定位先验，精确修正扩散过程中的交互关注图，使其与文本提示中的正确名词和形容词单词紧密对齐，从而实现对特定对象的细粒度图像编辑，并防止对其他区域产生不希望的改变。该方法在 COCO 数据集的子集上经过广泛评估，定量和定性地都取得了优秀的结果。

    May, 2024