具有分层嵌套对抗网络的照片到图像合成
本文提出了一种使用自然语言描述直接合成逼真图像的方法,它有很多有用的应用,例如智能图像操作。我们提出了一种端到端的神经架构,利用对抗学习自动学习隐式损失函数,实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验,我们证明了我们的模型能够合成符合描述要求的逼真图像,同时仍保留原始图像的其他特征。
Jul, 2017
本文提出一种文本适应的生成对抗网络 (TAGAN),用以保留不相关的图片内容,并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器,按照输入的文本进行细粒度属性的独立分类,实现只修改特定区域的图像。经实验验证,该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。
Oct, 2018
利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式,将字符转换为像素,有效地将文本和图像建模相结合,从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。
May, 2016
本研究提出了一种新的方法,改进了生成对抗网络(GANs)训练的能力,可以根据文本输入合成多样的图像,这种方法基于条件版本的 GANs,扩展了前人利用判别器中的辅助任务,通过负样本采样来构造积极和消极的训练样例,通过牛津 102 花卉数据集的实验结果表明,生成的图像更具多样性,特别是当负样本逐渐靠近语义空间中的积极样本时。
Dec, 2018
该文提出了一种新的文本图像生成模型,使用基于语义的标准化处理和图像嵌入策略来实现高水平的语义一致性和低水平的语义多样性,并在 CUB 和 MS-COCO 数据集上展示了其优异性能。
Apr, 2019
我们提出了一种新颖的轻量化生成对抗网络,使用自然语言描述来进行有效的图像操作。我们提出了一种新的单词级别鉴别器,为生成器提供细粒度的单词级别训练反馈,以便训练一个轻量级生成器,该生成器具有少量参数,但仍然能够正确地关注图像的特定视觉属性,然后进行编辑,而不会影响其他未在文本中描述的内容。与现有技术相比,我们的方法具有更少的参数数量,但仍然实现了有竞争力的操作性能。广泛的实验结果表明,我们的方法能够更好地解耦不同的视觉属性,然后正确地将它们映射到相应的语义词汇,从而使用自然语言描述实现更准确的图像修改。
Oct, 2020
本论文提出了一种名为 HiGAN 的新方法,使用层次生成对抗网络将从图像等源域传递的知识用于视频识别目标域,以提高分类器的性能,实验证明其相比当前最先进的领域自适应方法更有效。
May, 2018
本文提出一种新的基于语义布局的文本到图像的分层方法,通过语义布局生成器和图像生成器将生成过程分解为多个步骤完成,能够提高图像质量和与输入文本的语义对齐性。
Jan, 2018