利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式,将字符转换为像素,有效地将文本和图像建模相结合,从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。
May, 2016
本文提出一种改进的基于 GAN 的文本图像生成方法,通过优化感知损失函数,可以生成更具感染力、质量更高的鸟和花卉的合成图像。
Aug, 2017
本文提供了生成对抗网络在图像合成中的方法分类、文本到图像合成和图像到图像翻译的不同模型的回顾、以及一些评估指标及未来可能的研究方向。
Mar, 2018
综述文章介绍了生成对抗网络 (GANs) 在图像合成领域的各种应用,包括图像到图像的转换、融合图像生成、标签到图像映射和文本到图像生成,并总结了基于模型、特定于架构、约束、损失函数、评估度量和培训数据集开发思路等各种领域进展和具体实现,并提出了未来发展的潜在方向。
Dec, 2020
本文提出了一种新颖的方法来生成基于语义图像描述的摄影图像,并通过采用伴随的分层嵌套对抗目标函数进行中层表示规范化及生成器训练来改善图像质量,以及引入新的视觉语义相似度衡量来评估其生成的图像的语义一致性,最终在三个主流数据集上实验验证表明,该方法在各种评估指标上显著优于先前的最先进技术。
Feb, 2018
本文提出了一种使用自然语言描述直接合成逼真图像的方法,它有很多有用的应用,例如智能图像操作。我们提出了一种端到端的神经架构,利用对抗学习自动学习隐式损失函数,实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验,我们证明了我们的模型能够合成符合描述要求的逼真图像,同时仍保留原始图像的其他特征。
Jul, 2017
本篇论文介绍了最近使用生成对抗网络进行文本生成的研究和进展,并对基于对抗学习的文本生成的三种可能选择(即 Gumbel-Softmax 分化,强化学习和修改训练目标)进行了综述。
Dec, 2022
本篇论文提出一种基于对比学习方法的文本到图像合成框架,旨在提升合成图像的质量和语义一致性,通过对 pretraining 和 GAN training 阶段进行改进,该方法在两个流行数据集上的实验结果表明,相对于 AttnGAN 和 DM-GAN,能够显著提高合成图像的质量。
Jul, 2021
本研究提出了一种新的方法,改进了生成对抗网络(GANs)训练的能力,可以根据文本输入合成多样的图像,这种方法基于条件版本的 GANs,扩展了前人利用判别器中的辅助任务,通过负样本采样来构造积极和消极的训练样例,通过牛津 102 花卉数据集的实验结果表明,生成的图像更具多样性,特别是当负样本逐渐靠近语义空间中的积极样本时。
Dec, 2018
本文提出一种文本适应的生成对抗网络 (TAGAN),用以保留不相关的图片内容,并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器,按照输入的文本进行细粒度属性的独立分类,实现只修改特定区域的图像。经实验验证,该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。
Oct, 2018