一种简单有效的注意力生成对抗网络基准模型
本文介绍了一种利用注意力机制生成对抗网络的方法,能够通过自然语言描述中的相关单词对图像的不同子区域进行精细的细节合成,并提出了一种深度的注意力多模式相似度模型,用于训练这个生成器。实验结果显示,在两个数据集上,这种注意力机制生成对抗网络都优于先前的最先进方法。
Nov, 2017
该研究论文提出了一种名为 DF-GAN 的新型深度融合生成对抗网络,用于更加高效地合成与文本相匹配的高质量真实图片,并在广泛使用的数据集上取得更好的性能。
Aug, 2020
本文提出了基于注意力机制的生成对抗网络 AGGAN,在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化,训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失,实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。
Mar, 2019
本文提出了一种新颖的生成网络(SegAttnGAN),该网络利用附加的分割信息来进行文本到图像综合任务,通过引入分割数据对生成器训练提供有用的指导,相较于之前的最先进技术,本模型可以生成更具真实感和更高量化准确性的图像,我们在 CUB 数据集上获得了 4.84 的内在分数和在 Oxford-102 数据集上获得了 3.52 的分数。此外,我们还测试了自我关注 SegAttnGAN,该模型使用生成的分割数据而非数据集的掩码进行注意,并获得了类似的高质量结果,说明我们的模型可用于文本到图像综合任务。
May, 2020
提出了一种基于 SeqAttnGAN 模型的交互式图片编辑方法,该模型应用了神经状态跟踪器进行图像和文本描述的编码,并使用 GAN 框架生成与之前图像一致且符合描述的新版本图像,同时为了实现更好的区域特定细化引入了顺序注意机制。在新的任务基准上,实验表明所提出的 SeqAttnGAN 模型在所有评估度量上优于现有方法。
Dec, 2018
本文介绍了一种基于自注意力机制的生成对抗网络(SAGAN),它能够在图像生成任务中实现关注驱动的远距离依赖关系建模,并通过对 GAN 生成器实施谱归一化技术,取得了对图像生成任务来说最好的表现。
May, 2018
本文提出了一种基于对物体的关注的生成对抗网络,可用于复杂场景的文本到图像合成,该网络生成器长注重于文本描述中最相关的单词和预生成的语义布局,以合成显著物体,同时提出了一种快速区域卷积神经网络(Fast R-CNN)的新技术,以提供丰富的针对对象的区分信号,判断生成的物体与文本描述和预生成布局是否匹配。该提出的 Obj-GAN 在大规模 COCO 基准测试中表现出色,提高了 27%的 Inception 分数并降低了 11%的 FID 分数。通过分析它们的机制和可视化他们的注意层,提供了传统网格注意和新型对象驱动注意之间的全面比较,展示了本模型如何高质量地生成复杂场景的见解。
Feb, 2019
本文通过引入自注意力机制和 Transformer 在视频总结中建模时间关系,以无监督的方法通过对抗性学习生成代表性摘要,并提出 SUM-GAN-AED 模型,评估结果表明,使用自我注意力机制作为帧选择机制在 SumMe 上优于现有技术,并在 TVSum 和 COGNIMUSE 上具有接近现有技术的性能。
Jul, 2023
本文提出了一种新的基于注意力向导的生成对抗网络 (AttentionGAN),通过生成注意力掩码来识别最具区别性的前景物体,并将生成的输出融合到注意力掩码中,从而获得高质量的目标图像,实验表明,相较于现有的竞争模型,该方法能够生成更鲜明和更现实的图像。
Nov, 2019
本研究提出了一种基于生成对抗网络的训练方法,通过利用教师 - 网络生成的注意力图来提高图像生成的质量,以及在生成的图像上执行弱目标定位。该方法在 HEp-2 细胞图像上进行了研究,表明其可以进行弱定位。该方法可用于图像生成和数据注释,例如在目标检测中。
Feb, 2018