ICCVDec, 2016

使用堆叠生成对抗网络实现文本到逼真图像的合成

PDF
TL;DR本文提出 StackGAN，借助生成对抗网络，通过文本生成真实的 256x256 图像，经过两个 GAN 进行图像细节加强和修复，并且引入新的条件增强技术以提高图像多样性和稳定性，并取得了重大进展。
text-to-imagegenerative adversarial networksimage synthesisconditioning augmentationphoto-realistic images
发现论文，激发创造
  • StackGAN++：堆叠生成对抗网络实现逼真图像合成

    本文提出了堆叠式生成式对抗网络 (Stackgan)，该网络采用两个阶段和多个生成器和判别器构成的树状结构，用于高分辨率、逼真的图像生成。经过大量实验验证，该网络在生成逼真图像方面表现优于其他方法。

    Oct, 2017

  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • DF-GAN: 一个简单有效的文本到图像合成基线

    该研究论文提出了一种名为 DF-GAN 的新型深度融合生成对抗网络，用于更加高效地合成与文本相匹配的高质量真实图片，并在广泛使用的数据集上取得更好的性能。

    Aug, 2020

  • 使用感知损失的对抗网络进行文字到图像的合成

    本文提出一种改进的基于 GAN 的文本图像生成方法，通过优化感知损失函数，可以生成更具感染力、质量更高的鸟和花卉的合成图像。

    Aug, 2017

  • 对抗性文本到图像合成：综述

    该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战，提出了一些研究方向，包括评估指标、数据集和模型架构设计等方面的改进。

    Jan, 2021

  • 可控的文本到图像生成

    该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

    Sep, 2019

  • 用户指定内容的条件图像生成与操作

    提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

    May, 2020

  • 文本自适应生成对抗网络：用自然语言编辑图片

    本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

    Oct, 2018

  • MC-GAN：多条件生成对抗网络用于图像合成

    本文提出了一种新方法，为生成目标图像，通过掌握给定背景信息，由文本属性生成目标物体图像，特别关注了控制物体和背景信息总和的多条件生成对抗网络方法（MC-GAN），在训练阶段通过生成物体和背景信息的合成块来实现。文中应用于实验，如 Caltech-200 鸟和 Oxford-102 花数据集，能够生成具有 128 x 128 分辨率的相片逼真的图像。

    May, 2018

  • T2CI-GAN：使用生成对抗网络进行文本到压缩图像的生成

    本文提出一种基于 DCGAN 的压缩图像生成方法，旨在实现对文本描述的压缩视觉数据直接生成，并在压缩形式下实现了最先进的性能。

    Oct, 2022