CVPRMar, 2023

DeltaEdit: 探索文本无关的训练用于以文本为驱动的图像处理

PDF
TL;DR本文提出了一个名为 DeltaEdit 的新框架，通过以 CLIP Delta 空间为基础来进行原始图像和目标图像之间的编辑，从而实现了基于文本的图像编辑的零样本推理。
text-driven image manipulationgenerative modelsclip delta spacedeltaedit networkzero-shot inference
发现论文，激发创造
  • DeltaSpace：面向灵活的文本引导图像编辑的语义对齐特征空间

    通过在 CLIP DeltaSpace 中映射 CLIP 视觉特征差异和对应文本描述的 CLIP 文本特征差异，我们提出了 DeltaEdit 框架，实现了灵活的文本引导图像编辑。

    Oct, 2023

  • TextCLIP：无对抗训练的文本指导人脸图像生成与操作

    提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

    Sep, 2023

  • iEdit: 弱监督下的本地化文本指导图像编辑

    提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

    May, 2023

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • Forgedit：通过学习和遗忘进行文本指导的图像编辑

    通过图像重建、文本嵌入以及使用 UNet 结构和扩散模型，我们设计了一种新的文本引导图像编辑方法 Forgedit，具有强大的编辑能力，并在具有挑战性的文本引导图像编辑基准测试 TEdBench 中超越了以往的方法 Imagic，实现了最新的 state-of-the-art 结果。

    Sep, 2023

  • CLIP 引导下的 StyleGAN 反演方法用于文本驱动的真实图像编辑

    本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

    Jul, 2023

  • Text2LIVE: 文本驱动的分层图像和视频编辑

    本文介绍了一种用于零样本、文本驱动外观操作的方法，利用内部数据集训练生成器，结合外部的 CLIP 模型进行损失计算，并通过生成编辑层的方式实现色彩与透明度的操作来实现高保真的自然图像和视频语义编辑。

    Apr, 2022

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • 一种鲁棒的文本驱动图像编辑方法：自适应探索 StyleGAN 和 CLIP 潜空间中的方向

    我们提出了一种使用 SVM 在 StyleGAN 和 CLIP 空间自适应构建编辑方向的方法，将大规模图像语料库中与文本指令相似的图像通过 CLIP 相似性检索，用 SVM 训练正负图像分类器将编辑方向表示为 CLIP 空间中的法向量，并验证其性能与 StyleCLIP 基准一致，而且不会增加计算时间。

    Apr, 2023