StyleGAN-NADA：基于 CLIP 引导的图像生成器域自适应

Aug, 2021

StyleGAN-NADA：基于 CLIP 引导的图像生成器域自适应

StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators

Rinon Gal, Or Patashnik, Haggai Maron, Gal Chechik, Daniel Cohen-Or

TL;DR使用大规模对比性语言 - 图像预训练（Contrastive-Language-Image-Pre-training，CLIP）模型极具语义能力的特点，实现了使用文本提示来训练生成模型，无需看到图像的 “盲目” 图像生成方法。通过少量的训练，我们的方法不断适应多个具有不同样式和形状特征的领域，并维持对未来任务有吸引力的潜在空间属性。

Abstract

Can a generative model be trained to produce images from a specific domain, guided by a text prompt only, without seeing any image? In other words: can an image generator be trained "blindly"? Leveraging the sema

generative model text prompt clip model image generation domain adaptation

发现论文，激发创造

通过图像特定提示学习进行零样本生成模型适应

该研究项目提出了一种名为图像特定提示学习（IPL）的方法，能够为每个源域图像学习特定的提示向量，从而为每个跨域图像对提供更准确的适应方向，增强目标域生成器的灵活性，并改善合成图像的质量和多样性。

Apr, 2023

CLIP-GEN: 使用 CLIP 进行无需语言条件的文本 - 图像生成训练

本文提出了一种自监督学习策略 CLIP-GEN 用于通用的文本生成图像，只需要通用领域的未标记图像。我们使用来自 CLIP 的语言 - 图像先验知识，并使用自编码器和自回归变换器将图像转换为文本标记，并基于这里从文本编码器中提取的文本嵌入生成连贯的图像标记。定量和定性评估表明本方法在图像质量方面明显优于基于优化的文本到图像方法，而且不会影响文本与图像的匹配。

Mar, 2022

TextCLIP：无对抗训练的文本指导人脸图像生成与操作

提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

Sep, 2023

使用自然语言引导的开放域图像生成和编辑

使用多模态编码器指导图像生成的新方法，避免了使用昂贵和经过特殊训练的模型，能够从复杂的语义文本提示中生成高质量的图像，并且能够比 DALL-E [38]，GLIDE [33] 和 Open-Edit [24] 等先前的不灵活方法产生更高的视觉质量。

Apr, 2022

StyleCLIP: 基于文本的 StyleGAN 图像操作

本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

Mar, 2021

AD-CLIP: 利用 CLIP 在提示空间中调适领域

使用 AD-CLIP 解决图像领域适应问题，通过在 prompt 空间中提取图像风格和内容信息，采用标准的有监督对比学习和最小熵策略来对齐源领域和目标领域，同时提出跨领域风格映射网络来生成领域无关的标记，实验证明了 AD-CLIP 的有效性。

Aug, 2023

CgT-GAN：基于 CLIP 引导的文本 GAN 用于图像字幕生成

提出了一个 CLIP 引导的文本生成对抗网络 (CgT-GAN) 模型，通过引入图像数据进行训练，结合语义指导奖励 (CLIP-based reward) 和生成文本的自然度奖励来生成与外部语料库相似的文字。在实验证明，CgT-GAN 在各项指标上明显优于现有的最先进方法。

Aug, 2023

只需一個 CLIP，即可將 GAN 進行單次適應

本研究提出了一种采用统一 CLIP 空间变换的单次生成器适应方法，该方法采用基于 CLIP 导向的潜变量优化进行参考图像搜索，并使用新的损失功能进行生成器微调以实现 CLIP 空间一致性。此外，研究者还提出了一种面向 CLIP 空间的路径关系对比正则化方法，以进一步提高生成模型的效果。该方法能够有效地进行属性编辑且具有较好的实验结果。

Mar, 2022

通过语义变化提高零样本 GAN 适应性中的多样性

通过在 CLIP 空间中找到目标文本的语义变化，设计一种新颖的方向矩损失函数，以匹配图像和文本方向分布的一、二阶矩，并引入弹性权重合并和关系一致性损失，确保了零样本 GAN 适应中样本多样性和质量的最新最有效方法。

Aug, 2023

CLIP 引导下的 StyleGAN 反演方法用于文本驱动的真实图像编辑

本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

Jul, 2023