CVPRMar, 2019

通过重新描述学习文本到图像生成的 MirrorGAN

PDF
TL;DR本文提出了一种名为 MirrorGAN 的新的全局 - 局部注意力和语义保持的文本 - 图像 - 文本框架，通过重新描述学习文本到图像的生成，包括三个模块：语义文本嵌入模块（STEM）、用于连续图像生成的全局 - 局部协作注意力模块（GLAM）和语义文本再生和对齐模块（STREAM），在两个公共基准数据集上的实验表明了 MirrorGAN 在文本到图像生成方面的优越性。
发现论文，激发创造
  • 具有语义 - 空间感知的 GAN 图像生成

    该论文介绍了一种基于生成式对抗网络的图像生成方法，引入了一种简单有效的语义 - 空间感知块，学习语义自适应变换，并在弱监督方式下学习语义掩膜，从而在保持视觉保真度的同时，能够对输入文本精准对齐。

    Apr, 2021

  • TediGAN: 基于文本引导的多样化人脸图像生成和操作

    本文提出 TediGAN 框架，用于多模态图像生成和操作。该方法包括三个组件：StyleGAN 反演模块，视觉 - 语言相似度学习和实例级优化。模型可使用多模态输入生成多样化，分辨率为 1024 的高质量图像，并提出 Multi-Modal CelebA-HQ 数据集以支持文本引导的多模态综合。经过广泛实验，本方法展现出优越性能。

    Dec, 2020

  • 使用堆叠生成对抗网络实现文本到逼真图像的合成

    本文提出 StackGAN，借助生成对抗网络，通过文本生成真实的 256x256 图像，经过两个 GAN 进行图像细节加强和修复，并且引入新的条件增强技术以提高图像多样性和稳定性，并取得了重大进展。

    Dec, 2016

  • DM-GAN: 动态记忆生成对抗网络用于文本到图像合成

    本研究提出一种动态内存生成对抗网络（DM-GAN），用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像，其中一个动态内存模块被引入以完善模糊的图像内容，并通过一个内存写入门来选择重要的文本关键信息。实验结果表明，DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。

    Apr, 2019

  • 语义绘图工程用于文本到图像的生成

    通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

    Dec, 2023

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 通过对抗学习进行语义图像合成

    本文提出了一种使用自然语言描述直接合成逼真图像的方法，它有很多有用的应用，例如智能图像操作。我们提出了一种端到端的神经架构，利用对抗学习自动学习隐式损失函数，实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验，我们证明了我们的模型能够合成符合描述要求的逼真图像，同时仍保留原始图像的其他特征。

    Jul, 2017

  • GR-GAN: 逐步细化的文本到图像生成

    本文提出了一种渐进式精炼生成对抗网络 (GR-GAN) 用于高效解决生成图像与文本约束的一致性问题；包括 GRG 模块，ITM 模块以及新指标 CMD 的引入，并在实验中表现出了显著的优势。

    May, 2022

  • 面部图像生成和操作的开放式文本引导实现

    该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

    Apr, 2021

  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016