文本自适应生成对抗网络:用自然语言编辑图片
本文提出了一种新颖的方法来生成基于语义图像描述的摄影图像,并通过采用伴随的分层嵌套对抗目标函数进行中层表示规范化及生成器训练来改善图像质量,以及引入新的视觉语义相似度衡量来评估其生成的图像的语义一致性,最终在三个主流数据集上实验验证表明,该方法在各种评估指标上显著优于先前的最先进技术。
Feb, 2018
本研究提出了一种新的方法,改进了生成对抗网络(GANs)训练的能力,可以根据文本输入合成多样的图像,这种方法基于条件版本的GANs,扩展了前人利用判别器中的辅助任务,通过负样本采样来构造积极和消极的训练样例,通过牛津102花卉数据集的实验结果表明,生成的图像更具多样性,特别是当负样本逐渐靠近语义空间中的积极样本时。
Dec, 2018
本研究提出一种动态内存生成对抗网络(DM-GAN),用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像,其中一个动态内存模块被引入以完善模糊的图像内容,并通过一个内存写入门来选择重要的文本关键信息。实验结果表明,DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。
Apr, 2019
该论文提出了一种新颖的可控文本到图像生成对抗网络(ControlGAN),它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离,并通过词级鉴别器提供细粒度的监督反馈,使生成器能够对特定的视觉属性进行操作。通过大量的实验证明,我们的方法优于现有的最先进技术,并能够通过自然语言描述有效地操作合成图像。
Sep, 2019
使用生成式对抗网络实现语义编辑,用文本描述所需属性对图像进行编辑和纠正匹配,生成新的属性,同时保留无关的原始内容。在 CUB 和 COCO 数据集上的实验证明了该方法的卓越性能。
Dec, 2019
提出了一种单一的文本到图像生成和操纵的流程,其中在我们的流程的第一部分,介绍了 TextStyleGAN 这个在文本上进行训练的模型;第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵,并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵,并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展,其中包含了人脸及相应的文本描述。
May, 2020
该研究论文提出了一种名为 DF-GAN 的新型深度融合生成对抗网络,用于更加高效地合成与文本相匹配的高质量真实图片,并在广泛使用的数据集上取得更好的性能。
Aug, 2020
我们提出了一种新颖的轻量化生成对抗网络,使用自然语言描述来进行有效的图像操作。我们提出了一种新的单词级别鉴别器,为生成器提供细粒度的单词级别训练反馈,以便训练一个轻量级生成器,该生成器具有少量参数,但仍然能够正确地关注图像的特定视觉属性,然后进行编辑,而不会影响其他未在文本中描述的内容。与现有技术相比,我们的方法具有更少的参数数量,但仍然实现了有竞争力的操作性能。广泛的实验结果表明,我们的方法能够更好地解耦不同的视觉属性,然后正确地将它们映射到相应的语义词汇,从而使用自然语言描述实现更准确的图像修改。
Oct, 2020
本文提出了一种新颖的循环一致性逆向生成对抗网络(CI-GAN)框架,用于文本到图像生成和文本引导下的图像操作任务,在该框架中,我们采用循环一致性训练来学习更加稳健一致的潜变量,并通过学习文本表示与潜变量之间的相似度模型,在文本引导的优化模块中生成具有所需语义属性的图像,实验证明该框架具有良好的性能。
Aug, 2021