GR-GAN: 逐步细化的文本到图像生成
本研究提出一种动态内存生成对抗网络(DM-GAN),用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像,其中一个动态内存模块被引入以完善模糊的图像内容,并通过一个内存写入门来选择重要的文本关键信息。实验结果表明,DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。
Apr, 2019
利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式,将字符转换为像素,有效地将文本和图像建模相结合,从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。
May, 2016
该研究论文提出了一种名为 DF-GAN 的新型深度融合生成对抗网络,用于更加高效地合成与文本相匹配的高质量真实图片,并在广泛使用的数据集上取得更好的性能。
Aug, 2020
本文介绍了一种利用注意力机制生成对抗网络的方法,能够通过自然语言描述中的相关单词对图像的不同子区域进行精细的细节合成,并提出了一种深度的注意力多模式相似度模型,用于训练这个生成器。实验结果显示,在两个数据集上,这种注意力机制生成对抗网络都优于先前的最先进方法。
Nov, 2017
本文提出了一种动态方面感知 GAN(DAE-GAN)以及一个新颖的面向方面感知的动态重绘制器(ADR),该方法可以在文本到图像综合中利用方面信息并具有较高的真实感和语义一致性。
Aug, 2021
本文提出了一种半监督的自然图像描述方法 ——RTT-GAN,利用区域感知和语言机制生成连贯的段落描述,并通过对抗训练达到建立结构性生成器和多层段落判别器之间的生成并评估技术。
Mar, 2017
通过利用大规模的文本到图像扩散模型进行数据提炼,我们提出了一种更高效的方法,通过精细调整通用化特征的基础生成对抗网络模型,而不是重新训练整个基础模型,并采用简单但有效的秩搜索过程来进行低秩适应,从而显著减少了培训成本和与每个概念相关的存储,使得移动设备能够高效地实现实时高质量的图像编辑。
Jan, 2024
本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法,通过检索和优化过程综合生成伪文本特征,可以灵活应用于各种情境和模型,并在实验中表现出显著的效果,GAN 模型在完全监督的情况下得到了 6.78 的 FID,是 GAN 最新的 SoTA 结果。
Oct, 2022
该研究提出了一种通过敌对训练生成逼真文本的框架,采用了 LSTM 作为生成器,卷积网络作为判别器,并使用核距离度量匹配真实和合成句子的高维潜在特征分布,从而缓解了模式崩溃问题,并在定量评估方面表现出优越性,证明了该模型可以生成逼真的句子。
Jun, 2017
本文提出了一种新颖的循环一致性逆向生成对抗网络 (CI-GAN) 框架,用于文本到图像生成和文本引导下的图像操作任务,在该框架中,我们采用循环一致性训练来学习更加稳健一致的潜变量,并通过学习文本表示与潜变量之间的相似度模型,在文本引导的优化模块中生成具有所需语义属性的图像,实验证明该框架具有良好的性能。
Aug, 2021