Nov, 2023

通过可学习区域实现基于文本的图像编辑

PDF
TL;DR这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落的复杂提示。通过广泛的用户研究实验证明我们方法在操纵图像时与提供的语言描述相一致，具有高保真度和逼真度的竞争性表现。
languageimage editingtextual promptsregion-based editingpretrained model
发现论文，激发创造
  • Text2LIVE: 文本驱动的分层图像和视频编辑

    本文介绍了一种用于零样本、文本驱动外观操作的方法，利用内部数据集训练生成器，结合外部的 CLIP 模型进行损失计算，并通过生成编辑层的方式实现色彩与透明度的操作来实现高保真的自然图像和视频语义编辑。

    Apr, 2022

  • 自然图像文本编辑的混合扩散

    本文介绍了一种基于自然语言描述和兴趣区域掩码进行本地（面向区域的）在通用自然图像中进行编辑的解决方案，利用 CLIP 预训练语言 - 图像模型指导编辑并使用扩散概率模型生成自然外观结果，以及应用扩散过程的增强进行抗击对抗攻击；通过在多个基线和相关方法上的定量和定性比较，表明该方法在整体逼真度、保护背景和匹配文本方面均优于现有解决方案，并展示了多种文本驱动的编辑应用，如添加新对象，删除 / 替换 / 修改现有对象，背景替换和图像推理。

    Nov, 2021

  • 区域：零样本指导下的局部编辑

    基于 Zero-shot 指令引导的局部图像编辑方法 ZONE 通过转换用户提供的指令，实现了对特定图像区域的任意操作，同时保留其他区域的编辑友好性，展现了出色的局部编辑效果，优于现有的最先进方法。

    Dec, 2023

  • InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

    本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

    May, 2023

  • 利用字幕和注入技术实现最小文本输入的用户友好型图像编辑

    本文提出了两种基于提示生成框架的简单而有效的方法，以改善基于文本的图像编辑过程中用户工程的问题，并通过定性和定量实验证明了提示在基于文本的图像编辑中的重要性以及我们的方法可以与基于参考的提示相媲美。

    Jun, 2023

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • iEdit: 弱监督下的本地化文本指导图像编辑

    提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

    May, 2023

  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023