CVPRApr, 2019

DM-GAN: 动态记忆生成对抗网络用于文本到图像合成

PDF
TL;DR本研究提出一种动态内存生成对抗网络（DM-GAN），用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像，其中一个动态内存模块被引入以完善模糊的图像内容，并通过一个内存写入门来选择重要的文本关键信息。实验结果表明，DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。
text-to-image synthesisgenerating images from textdynamic memory generative adversarial networkimage refinementhigh-quality images
发现论文，激发创造
  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • DF-GAN: 一个简单有效的文本到图像合成基线

    该研究论文提出了一种名为 DF-GAN 的新型深度融合生成对抗网络，用于更加高效地合成与文本相匹配的高质量真实图片，并在广泛使用的数据集上取得更好的性能。

    Aug, 2020

  • 文本自适应生成对抗网络：用自然语言编辑图片

    本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

    Oct, 2018

  • DSE-GAN: 动态语义演化生成对抗网络用于文本到图像生成

    本文提出了一种新的动态语义演化生成对抗网络（DSE-GAN），采用单个生成器 - 鉴别器对的单个对抗训练架构，在每个阶段根据历史阶段的状态（即历史阶段的文本和图像特征）对文本特征进行自适应重新组合，以在粗到细的生成过程中提供多样化和准确的语义引导。在广泛使用的 CUB-200 和 MSCOCO 数据集上，实验结果表明该模型相对 FID 分别提高 7.48％和 37.8％。

    Sep, 2022

  • DAE-GAN: 面向动态方面的文本生成图像 GAN

    本文提出了一种动态方面感知 GAN（DAE-GAN）以及一个新颖的面向方面感知的动态重绘制器（ADR），该方法可以在文本到图像综合中利用方面信息并具有较高的真实感和语义一致性。

    Aug, 2021

  • GR-GAN: 逐步细化的文本到图像生成

    本文提出了一种渐进式精炼生成对抗网络 (GR-GAN) 用于高效解决生成图像与文本约束的一致性问题；包括 GRG 模块，ITM 模块以及新指标 CMD 的引入，并在实验中表现出了显著的优势。

    May, 2022

  • 使用感知损失的对抗网络进行文字到图像的合成

    本文提出一种改进的基于 GAN 的文本图像生成方法，通过优化感知损失函数，可以生成更具感染力、质量更高的鸟和花卉的合成图像。

    Aug, 2017

  • 对抗性文本到图像合成：综述

    该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战，提出了一些研究方向，包括评估指标、数据集和模型架构设计等方面的改进。

    Jan, 2021

  • 基于记忆的文本到图像生成

    提出了一种基于记忆驱动的半参数方法来进行文本生成图像，这种方法基于参数和非参数技术，其中非参数部分是图像特征的记忆库，而参数化部分是生成敌对网络。实验结果表明，所提出的记忆驱动半参数方法在视觉保真度和文本图像语义一致性方面比纯参数方法产生更逼真的图像。

    Aug, 2022

  • ManiGAN: 文本导向的图像操作

    使用生成式对抗网络实现语义编辑，用文本描述所需属性对图像进行编辑和纠正匹配，生成新的属性，同时保留无关的原始内容。在 CUB 和 COCO 数据集上的实验证明了该方法的卓越性能。

    Dec, 2019