May, 2023

iEdit: 弱监督下的本地化文本指导图像编辑

PDF
TL;DR提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。
发现论文，激发创造
  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • Forgedit：通过学习和遗忘进行文本指导的图像编辑

    通过图像重建、文本嵌入以及使用 UNet 结构和扩散模型，我们设计了一种新的文本引导图像编辑方法 Forgedit，具有强大的编辑能力，并在具有挑战性的文本引导图像编辑基准测试 TEdBench 中超越了以往的方法 Imagic，实现了最新的 state-of-the-art 结果。

    Sep, 2023

  • 区域：零样本指导下的局部编辑

    基于 Zero-shot 指令引导的局部图像编辑方法 ZONE 通过转换用户提供的指令，实现了对特定图像区域的任意操作，同时保留其他区域的编辑友好性，展现了出色的局部编辑效果，优于现有的最先进方法。

    Dec, 2023

  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 通过可学习区域实现基于文本的图像编辑

    这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落的复杂提示。通过广泛的用户研究实验证明我们方法在操纵图像时与提供的语言描述相一致，具有高保真度和逼真度的竞争性表现。

    Nov, 2023

  • Text2LIVE: 文本驱动的分层图像和视频编辑

    本文介绍了一种用于零样本、文本驱动外观操作的方法，利用内部数据集训练生成器，结合外部的 CLIP 模型进行损失计算，并通过生成编辑层的方式实现色彩与透明度的操作来实现高保真的自然图像和视频语义编辑。

    Apr, 2022

  • DeltaEdit: 探索文本无关的训练用于以文本为驱动的图像处理

    本文提出了一个名为 DeltaEdit 的新框架，通过以 CLIP Delta 空间为基础来进行原始图像和目标图像之间的编辑，从而实现了基于文本的图像编辑的零样本推理。

    Mar, 2023

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

    本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

    May, 2023

  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022