ICCVJul, 2017

通过对抗学习进行语义图像合成

PDF
TL;DR本文提出了一种使用自然语言描述直接合成逼真图像的方法，它有很多有用的应用，例如智能图像操作。我们提出了一种端到端的神经架构，利用对抗学习自动学习隐式损失函数，实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验，我们证明了我们的模型能够合成符合描述要求的逼真图像，同时仍保留原始图像的其他特征。
image synthesisnatural language processingneural architectureadversarial learningsemantic disentanglement
发现论文，激发创造
  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 具有分层嵌套对抗网络的照片到图像合成

    本文提出了一种新颖的方法来生成基于语义图像描述的摄影图像，并通过采用伴随的分层嵌套对抗目标函数进行中层表示规范化及生成器训练来改善图像质量，以及引入新的视觉语义相似度衡量来评估其生成的图像的语义一致性，最终在三个主流数据集上实验验证表明，该方法在各种评估指标上显著优于先前的最先进技术。

    Feb, 2018

  • 文本到图像生成的语义分离

    该文提出了一种新的文本图像生成模型，使用基于语义的标准化处理和图像嵌入策略来实现高水平的语义一致性和低水平的语义多样性，并在 CUB 和 MS-COCO 数据集上展示了其优异性能。

    Apr, 2019

  • 对抗性文本到图像合成：综述

    该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战，提出了一些研究方向，包括评估指标、数据集和模型架构设计等方面的改进。

    Jan, 2021

  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • 使用感知损失的对抗网络进行文字到图像的合成

    本文提出一种改进的基于 GAN 的文本图像生成方法，通过优化感知损失函数，可以生成更具感染力、质量更高的鸟和花卉的合成图像。

    Aug, 2017

  • 文本到图像合成的双重对抗推理

    该论文提出了通过增强当前文本到图像合成框架，使用双重对抗推理机制来学习潜在空间中表示内容和风格的两个变量，从而实现生成更高质量的图像。

    Aug, 2019

  • 采用对比学习改进文本生成图像技术

    本篇论文提出一种基于对比学习方法的文本到图像合成框架，旨在提升合成图像的质量和语义一致性，通过对 pretraining 和 GAN training 阶段进行改进，该方法在两个流行数据集上的实验结果表明，相对于 AttnGAN 和 DM-GAN，能够显著提高合成图像的质量。

    Jul, 2021

  • 文本自适应生成对抗网络：用自然语言编辑图片

    本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

    Oct, 2018

  • 逼真图像合成用于准确识别场景中的文本

    通过语义一致性合成、视觉显著性确定和自适应文本外观模型等三个创新设计，提出了一种新的图像合成技术，用于生成大量标注数据，以用于训练准确和稳健的场景文本检测和识别模型。五个公共数据集的实验证明了该技术在训练精确和稳健的场景文本检测和识别模型方面的卓越性能。

    Jul, 2018