GALIP: 文本到图像生成的生成对抗 CLIPs

Jan, 2023

GALIP: 文本到图像生成的生成对抗 CLIPs

GALIP: Generative Adversarial CLIPs for Text-to-Image Synthesis

Ming Tao, Bing-Kun Bao, Hao Tang, Changsheng Xu

TL;DR使用 CLIP 模型作为生成对抗网络中的鉴别器和生成器，我们提出 Generative Adversarial CLIPs（GALIP），以实现高质量、高效、快速且可控的文本到图像合成，同时减少训练数据和可学习参数。

Abstract

Synthesizing high-fidelity complex images from text is challenging. Based on large pretraining, the autoregressive and diffusion models can synthesize photo-realistic images. Although these large models have shown notable progress, there remain three flaws. 1) These models require tremendous training data and parameters to achieve good performance. 2) The mu

text-to-image synthesis generative adversarial networks clip model image quality training efficiency

发现论文，激发创造

DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

Oct, 2021

RATLIP: 基于递归仿射变换的生成对抗网络 CLIP 文本到图像合成

通过使用条件仿射变换以及在循环神经网络之间引入随机注意力机制，结合强大的预训练模型 Clip，本研究提出了一种高质量逼真图像的生成模型，有效提升了图像与文本描述之间的一致性和综合图像的丰富度。

May, 2024

TextCLIP：无对抗训练的文本指导人脸图像生成与操作

提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

Sep, 2023

CgT-GAN：基于 CLIP 引导的文本 GAN 用于图像字幕生成

提出了一个 CLIP 引导的文本生成对抗网络 (CgT-GAN) 模型，通过引入图像数据进行训练，结合语义指导奖励 (CLIP-based reward) 和生成文本的自然度奖励来生成与外部语料库相似的文字。在实验证明，CgT-GAN 在各项指标上明显优于现有的最先进方法。

Aug, 2023

CLIP-GEN: 使用 CLIP 进行无需语言条件的文本 - 图像生成训练

本文提出了一种自监督学习策略 CLIP-GEN 用于通用的文本生成图像，只需要通用领域的未标记图像。我们使用来自 CLIP 的语言 - 图像先验知识，并使用自编码器和自回归变换器将图像转换为文本标记，并基于这里从文本编码器中提取的文本嵌入生成连贯的图像标记。定量和定性评估表明本方法在图像质量方面明显优于基于优化的文本到图像方法，而且不会影响文本与图像的匹配。

Mar, 2022

使用 CLIP 潜变量的分层文本条件图像生成

提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

Apr, 2022

ALIP: 自适应语言图像预训练与合成字幕

通过生成综合信息的合成字幕并动态调整样本权重，自适应对比损失有效降低噪音数据的影响并增强预训练数据效率，Adaptive Language-Image Pre-training (ALIP) 在不同规模模型和预训练数据集上进行了实验验证，并在多个下游任务中取得了最先进的性能，包括零样本图像 - 文本检索和线性探测。

Aug, 2023

CLIP-CLOP: CLIP 引导的拼贴和拼贴照片

通过艺术家所提供图像拼贴和提示信息，设计了一个基于梯度的生成算法来生成高分辨率的图像拼贴，并提供了一个开源工具供创作者使用。

May, 2022

StyleCLIP: 基于文本的 StyleGAN 图像操作

本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

Mar, 2021

场景图像合成：将 CLIP 引导与图结构条件整合于扩散模型中

利用预训练的文本到图像扩散模型和 CLIP 引导，我们的方法通过消除中间布局的预测，将图形知识转化为图像，从而生成与给定场景图一致的图像。实验证明，我们的方法在 COCO-stuff 和 Visual Genome 数据集的标准基准上优于现有方法。

Jan, 2024