Aug, 2023

零遮挡文本驱动的面部编辑

PDF
TL;DR本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。
face editingtext promptsvector flow fieldsimplicit neural representationsone-shot face editing framework
发现论文，激发创造
  • Text2LIVE: 文本驱动的分层图像和视频编辑

    本文介绍了一种用于零样本、文本驱动外观操作的方法，利用内部数据集训练生成器，结合外部的 CLIP 模型进行损失计算，并通过生成编辑层的方式实现色彩与透明度的操作来实现高保真的自然图像和视频语义编辑。

    Apr, 2022

  • ChatFace: 通过扩散潜空间操作实现聊天引导的真实人脸编辑

    提出了基于扩散模型的文本驱动实际面部图像编辑方法，并通过 ChatFace 交互式系统实现了精确的零样本和多属性操纵。

    May, 2023

  • Forgedit：通过学习和遗忘进行文本指导的图像编辑

    通过图像重建、文本嵌入以及使用 UNet 结构和扩散模型，我们设计了一种新的文本引导图像编辑方法 Forgedit，具有强大的编辑能力，并在具有挑战性的文本引导图像编辑基准测试 TEdBench 中超越了以往的方法 Imagic，实现了最新的 state-of-the-art 结果。

    Sep, 2023

  • TextCLIP：无对抗训练的文本指导人脸图像生成与操作

    提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

    Sep, 2023

  • DeltaEdit: 探索文本无关的训练用于以文本为驱动的图像处理

    本文提出了一个名为 DeltaEdit 的新框架，通过以 CLIP Delta 空间为基础来进行原始图像和目标图像之间的编辑，从而实现了基于文本的图像编辑的零样本推理。

    Mar, 2023

  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022

  • FlexIT: 柔性语义图像翻译

    通过引入 FlexIT，可以使用用户定义的文本指令编辑任意输入图像，并通过多项规范化项确保其连贯性和质量，从而扩展了语义图像转换的界限。

    Mar, 2022

  • 通过可学习区域实现基于文本的图像编辑

    这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落的复杂提示。通过广泛的用户研究实验证明我们方法在操纵图像时与提供的语言描述相一致，具有高保真度和逼真度的竞争性表现。

    Nov, 2023

  • CLIP 引导下的 StyleGAN 反演方法用于文本驱动的真实图像编辑

    本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

    Jul, 2023

  • E4C: 通过高效的 CLIP 引导提升基于文本的图像编辑的可编辑性

    通过提出名为 E4C 的零样本图像编辑方法，我们在保留源图像内容的同时，通过推理阶段优化来显式增强可编辑性和文本对齐，实现了有效解决现有方法中存在的文本对齐问题，并在广泛的编辑任务中表现良好。

    Mar, 2024