可控的文本到图像生成

Sep, 2019

Controllable Text-to-Image Generation

Bowen Li, Xiaojuan Qi, Thomas Lukasiewicz, Philip H. S. Torr

TL;DR该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

Abstract

In this paper, we propose a novel controllable text-to-image generative adversarial network (ControlGAN), which can effectively synthesise high-quality images and also control parts of the image generation according to natural language descriptions. To achieve this, we introduce a word-level spatial and channel-wise attention-driven generator that can disent

controllable text-to-image generative adversarial network word-level spatial attention perceptual loss visual attribute manipulation natural language description

发现论文，激发创造

文本自适应生成对抗网络：用自然语言编辑图片

本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

Oct, 2018

可控生成对抗网络

本文提出了一种新型的 GAN 结构 ControlGAN，通过将特征分类器与鉴别器分离，设计了一个可以控制样本特定详细特征的生成器，并使用多个图像数据集进行了评估，展示了 ControlGAN 在生成具有良好控制特性的改进样本方面的潜力。此外，我们证明了 ControlGAN 可以为插值和外推输入标签生成中间特征和相反特征，这表明 ControlGAN 可以显着增加生成样本的多样性。

Aug, 2017

轻量级生成对抗网络用于文本引导的图像操纵

我们提出了一种新颖的轻量化生成对抗网络，使用自然语言描述来进行有效的图像操作。我们提出了一种新的单词级别鉴别器，为生成器提供细粒度的单词级别训练反馈，以便训练一个轻量级生成器，该生成器具有少量参数，但仍然能够正确地关注图像的特定视觉属性，然后进行编辑，而不会影响其他未在文本中描述的内容。与现有技术相比，我们的方法具有更少的参数数量，但仍然实现了有竞争力的操作性能。广泛的实验结果表明，我们的方法能够更好地解耦不同的视觉属性，然后正确地将它们映射到相应的语义词汇，从而使用自然语言描述实现更准确的图像修改。

Oct, 2020

可控图像翻译的统一生成对抗网络

该研究提出了一种基于生成对抗网络的统一方法，实现可以由可控的结构来指导的多种图像转换任务，包括手势转换和跨视角图像转换，其性能显著优于其他基于深度学习的方法

Dec, 2019

用户指定内容的条件图像生成与操作

提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

May, 2020

生成对抗文本到图像的合成

利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

May, 2016

使用感知损失的对抗网络进行文字到图像的合成

本文提出一种改进的基于 GAN 的文本图像生成方法，通过优化感知损失函数，可以生成更具感染力、质量更高的鸟和花卉的合成图像。

Aug, 2017

ManiGAN: 文本导向的图像操作

使用生成式对抗网络实现语义编辑，用文本描述所需属性对图像进行编辑和纠正匹配，生成新的属性，同时保留无关的原始内容。在 CUB 和 COCO 数据集上的实验证明了该方法的卓越性能。

Dec, 2019

通过对抗训练实现基于物体的文本到图像合成

本文提出了一种基于对物体的关注的生成对抗网络，可用于复杂场景的文本到图像合成，该网络生成器长注重于文本描述中最相关的单词和预生成的语义布局，以合成显著物体，同时提出了一种快速区域卷积神经网络（Fast R-CNN）的新技术，以提供丰富的针对对象的区分信号，判断生成的物体与文本描述和预生成布局是否匹配。该提出的 Obj-GAN 在大规模 COCO 基准测试中表现出色，提高了 27％的 Inception 分数并降低了 11％的 FID 分数。通过分析它们的机制和可视化他们的注意层，提供了传统网格注意和新型对象驱动注意之间的全面比较，展示了本模型如何高质量地生成复杂场景的见解。

Feb, 2019

控制生成文本的发展

本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

Mar, 2017