Mar, 2021

StyleCLIP: 基于文本的 StyleGAN 图像操作

PDF
TL;DR本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。
styleganlatent spaceclipimage manipulationtext-based interface
发现论文，激发创造
  • CLIP 引导下的 StyleGAN 反演方法用于文本驱动的真实图像编辑

    本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

    Jul, 2023

  • TextCLIP：无对抗训练的文本指导人脸图像生成与操作

    提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

    Sep, 2023

  • StyleMC: 基于多通道快速文字引导的图像生成和操作

    本文提出了一种快速高效的以文本驱动的图像生成和操控方法 ——StyleMC，利用 CLIP 的 loss 和 identity loss 进行图像操控，不需要工程设计，仅需少量文本 prompt 训练即可找到稳定的全局 direction，比之前的方法更加高效

    Dec, 2021

  • 通过 CLIP 实现反事实图像处理

    通过 Contrastive-Language-Image- Pretraining (CLIP) 进行对抗操作，利用预定义的 CLIP 空间方向指导编辑，并将文本嵌入显式地转换为潜在空间，以实现准确的编码和编辑。

    Jul, 2022

  • CLIP2StyleGAN：无监督提取 StyleGAN 编辑方向

    本文提出一种方法将 StyleGAN 和 CLIP 的预训练潜空间有效链接，从而能够自动从 StyleGAN 中提取语义标注的编辑方向，找到并命名有意义的编辑操作，而不需要任何额外的人类指导

    Dec, 2021

  • 一种鲁棒的文本驱动图像编辑方法：自适应探索 StyleGAN 和 CLIP 潜空间中的方向

    我们提出了一种使用 SVM 在 StyleGAN 和 CLIP 空间自适应构建编辑方向的方法，将大规模图像语料库中与文本指令相似的图像通过 CLIP 相似性检索，用 SVM 训练正负图像分类器将编辑方向表示为 CLIP 空间中的法向量，并验证其性能与 StyleCLIP 基准一致，而且不会增加计算时间。

    Apr, 2023

  • StyleHumanCLIP: 面向 StyleGAN-Human 的文本引导服装操纵

    本文提出了一种基于文本引导的全身人像图像合成框架，采用基于注意力机制的潜在代码映射器，实现了比现有映射器更多元化对 StyleGAN 的控制，并在推理时引入特征空间掩码机制来避免因文本输入导致的不良影响，经定量和定性评估，证明了我们的方法比现有方法更能忠实地控制生成的图像。

    May, 2023

  • 使用 CLIP 潜变量的分层文本条件图像生成

    提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

    Apr, 2022

  • 使用去噪扩散和 CLIP 对预训练 StyleGAN 进行文本驱动采样

    引入了一种新的方法，可以从预训练的 CLIP 和 StyleGAN 中高效创建文本到图像模型，无需外部数据或微调。通过训练一个基于 CLIP 嵌入的扩散模型以对预先训练的 StyleGAN 的潜在向量进行采样，我们称之为 clip2latent，利用 CLIP 图像和文本嵌入之间的对齐来避免需要任何文本标记数据来训练条件扩散模型。展示了 clip2latent 使我们能够根据文本提示生成高分辨率（1024x1024 像素）的图像，并具有快速采样，高图像质量和低训练计算和数据要求。还展示了使用经过充分研究的 StyleGAN 架构，无需进一步微调，就可以直接应用现有方法来控制和修改生成的图像，为我们的文本到图像流水线添加了进一步的控制层面。

    Oct, 2022

  • CgT-GAN：基于 CLIP 引导的文本 GAN 用于图像字幕生成

    提出了一个 CLIP 引导的文本生成对抗网络 (CgT-GAN) 模型，通过引入图像数据进行训练，结合语义指导奖励 (CLIP-based reward) 和生成文本的自然度奖励来生成与外部语料库相似的文字。在实验证明，CgT-GAN 在各项指标上明显优于现有的最先进方法。

    Aug, 2023