TAC-GAN - 文本条件辅助分类器生成对抗网络

Mar, 2017

TAC-GAN - 文本条件辅助分类器生成对抗网络

TAC-GAN - Text Conditioned Auxiliary Classifier Generative Adversarial Network

Ayushman Dash, John Cristian Borges Gamboa, Sheraz Ahmed, Marcus Liwicki, Muhammad Zeshan Afzal

TL;DR本研究提出了 “TAC-GAN” 模型，一种文本到图像的生成对抗网络；相较于以前的方法，该模型使用类信息，能够提高生成样本的多样性并改善其结构一致性，对 Oxford-102 的花卉数据进行训练并通过 Inception-Score 和 MS-SSIM 测评其性能，结果表明其性能超越现有的同类模型，其平均 MS-SSIM 值达到 0.14。

Abstract

In this work, we present the text conditioned auxiliary classifier Generative Adversarial Network, (TAC-GAN) a text to image generative adversarial network (GAN) for synthesizing images from their text descriptio

text conditioned auxiliary classifier generative adversarial network image synthesis inception-score multi-scale structural similarity index

发现论文，激发创造

双辅助分类器 GAN

本文介绍了一种新的条件生成模型 ——TAC-GAN，该模型用新的辅助分类器可以有效地增加生成数据的多样性，实验证明该模型在真实数据集上可以显著提高类别条件的图像生成的多样性。

Jul, 2019

文本到图像合成中的语义关联对抗学习

本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

Dec, 2018

用户指定内容的条件图像生成与操作

提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

May, 2020

文本到图像生成的跨模态对比学习

使用交叉模态对比生成对抗网络（XMC-GAN）进行文本到图像的综合，通过使用多个对比损失，注意力自我调节生成器和对比鉴别器，以最大化图像和文本之间的相互信息，改善了图像合成的质量，并在 MS-COCO、Localized Narratives 和 Open Images 上实现了最先进的 FID 评分．

Jan, 2021

使用堆叠生成对抗网络实现文本到逼真图像的合成

本文提出 StackGAN，借助生成对抗网络，通过文本生成真实的 256x256 图像，经过两个 GAN 进行图像细节加强和修复，并且引入新的条件增强技术以提高图像多样性和稳定性，并取得了重大进展。

Dec, 2016

生成对抗文本到图像的合成

利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

May, 2016

TextGAIL: 文本生成的生成对抗模仿学习

本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架，采用对比鉴别器和近端策略优化来稳定和改进文本生成性能，实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。

Apr, 2020

文本自适应生成对抗网络：用自然语言编辑图片

本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

Oct, 2018

T2CI-GAN：使用生成对抗网络进行文本到压缩图像的生成

本文提出一种基于 DCGAN 的压缩图像生成方法，旨在实现对文本描述的压缩视觉数据直接生成，并在压缩形式下实现了最先进的性能。

Oct, 2022

MC-GAN：多条件生成对抗网络用于图像合成

本文提出了一种新方法，为生成目标图像，通过掌握给定背景信息，由文本属性生成目标物体图像，特别关注了控制物体和背景信息总和的多条件生成对抗网络方法（MC-GAN），在训练阶段通过生成物体和背景信息的合成块来实现。文中应用于实验，如 Caltech-200 鸟和 Oxford-102 花数据集，能够生成具有 128 x 128 分辨率的相片逼真的图像。

May, 2018