DF-GAN: 一个简单有效的文本到图像合成基线
利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和GAN公式,将字符转换为像素,有效地将文本和图像建模相结合,从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。
May, 2016
本文提出StackGAN,借助生成对抗网络,通过文本生成真实的256x256图像,经过两个GAN进行图像细节加强和修复,并且引入新的条件增强技术以提高图像多样性和稳定性,并取得了重大进展。
Dec, 2016
本文提出了一种新颖的方法来生成基于语义图像描述的摄影图像,并通过采用伴随的分层嵌套对抗目标函数进行中层表示规范化及生成器训练来改善图像质量,以及引入新的视觉语义相似度衡量来评估其生成的图像的语义一致性,最终在三个主流数据集上实验验证表明,该方法在各种评估指标上显著优于先前的最先进技术。
Feb, 2018
本研究提出了一种新的方法,改进了生成对抗网络(GANs)训练的能力,可以根据文本输入合成多样的图像,这种方法基于条件版本的GANs,扩展了前人利用判别器中的辅助任务,通过负样本采样来构造积极和消极的训练样例,通过牛津102花卉数据集的实验结果表明,生成的图像更具多样性,特别是当负样本逐渐靠近语义空间中的积极样本时。
Dec, 2018
本研究提出一种动态内存生成对抗网络(DM-GAN),用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像,其中一个动态内存模块被引入以完善模糊的图像内容,并通过一个内存写入门来选择重要的文本关键信息。实验结果表明,DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。
Apr, 2019
通过解析输入文本和合成图像的内容,构建一个内存结构并设计条件鉴别器,建立文本与图像在语义级别的一致性,从而提高文本到图像的生成性能。
Dec, 2019
该论文介绍了一种基于生成式对抗网络的图像生成方法,引入了一种简单有效的语义-空间感知块,学习语义自适应变换,并在弱监督方式下学习语义掩膜,从而在保持视觉保真度的同时,能够对输入文本精准对齐。
Apr, 2021
本文提出了一种新颖的循环一致性逆向生成对抗网络(CI-GAN)框架,用于文本到图像生成和文本引导下的图像操作任务,在该框架中,我们采用循环一致性训练来学习更加稳健一致的潜变量,并通过学习文本表示与潜变量之间的相似度模型,在文本引导的优化模块中生成具有所需语义属性的图像,实验证明该框架具有良好的性能。
Aug, 2021
该论文旨在使用生成对抗网络改进大规模文本到图像合成,提出了StyleGAN-T模型,它在大规模文本到图像合成中具有大容量、稳定的训练、强文本对齐和可控变化与文本对齐平衡等特点,并在样本质量和速度方面显著优于以前的生成对抗网络和蒸馏扩散模型。
Jan, 2023