MMAug, 2020

语义图像合成的双重注意力生成对抗网络

PDF
TL;DR本文提出一种新颖的双重注意力生成对抗网络（DAGAN），利用 position-wise 空间注意力模块和 scale-wise 通道注意力模块，从输入布局中综合地捕捉了语义结构注意力，实现了从语义标签到具有细节的照片逼真图像的生成。实验结果表明 DAGAN 相较于现有方法在多项数据集上实现了更好的结果，同时使用更少的模型参数。
semantic image synthesisdual attention ganposition-wise spatial attention modulescale-wise channel attention modulefine details
发现论文，激发创造
  • 基于注意力引导的生成对抗网络的无监督图像转换

    本文提出了基于注意力机制的生成对抗网络 AGGAN，在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化，训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失，实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。

    Mar, 2019

  • 基于级联语义引导的多通道关注选择生成对抗网络用于跨视角图像翻译

    本文提出了一种名为多通道注意力 SelectionGAN 的新方法，该方法可以基于场景图像和新颖的语义地图生成任意视点中自然场景图像，并通过注意力机制和像素损失优化，经过 Dayton，CVUSA 和 Ego2Top 数据集的实验验证，该方法在跨视图图像翻译方面比现有技术有了显著的改进

    Apr, 2019

  • SPA-GAN：用于图像翻译的空间注意力 GAN

    本文提出了 SPA-GAN，一种用于图像转换任务的新型空间关注 GAN 模型，它可以直接将注意机制引入到 GAN 体系结构中，以帮助生成器更加聚焦于源域和目标域之间的最具区分性的区域，从而产生更逼真的输出图像。在 SPA-GAN 训练中，引入了额外的特征图损失以保留域特定的特征，通过基准数据集上的定性和定量比较，SPA-GAN 相对于现有的引导注意力 GAN 模型表现出了更好的性能。

    Aug, 2019

  • 自注意力生成对抗网络

    本文介绍了一种基于自注意力机制的生成对抗网络（SAGAN），它能够在图像生成任务中实现关注驱动的远距离依赖关系建模，并通过对 GAN 生成器实施谱归一化技术，取得了对图像生成任务来说最好的表现。

    May, 2018

  • 多通道注意力选择 GAN 用于引导图像到图像的转换

    本篇论文提出了一种名为多通道注意力选择生成对抗网络（SelectionGAN）的新型模型，它将输入图像翻译成另一个图像，同时尊重外部语义指导。该模型明确利用语义指导信息，包括两个阶段：第一阶段利用周期语义引导生成网络产生初始粗略结果，第二阶段使用多尺度空间池化 & 通道选择模块和多通道注意选择模块完善初始结果。经过四项有挑战性的图像生成任务实验，证明了 SelectionGAN 能够比现有方法产生更好的结果。

    Feb, 2020

  • 多尺度对比学习引导下的边缘指导生成对抗网络用于语义图像合成

    提出了一种新颖的 ECGAN 用于具有挑战性的语义图像合成任务，通过使用边缘作为中间表示，并采用注意力引导的边缘传输模块进行图像生成，设计了一个有效的模块来选择性地突出显示根据原始语义布局的类依赖特征图，通过对比学习方法和多尺度对比学习方法，强化了同一语义类别的像素嵌入生成更相似的图像内容，并利用多个输入语义布局的标记像素结构来明确地探索更多的语义关系。

    Jul, 2023

  • 双重注意力网络用于场景分割

    本文通过应用双重注意力网络 (DANet) 和自注意力机制来捕捉语境相关性，以实现更准确的场景分割，在 Cityscapes 数据集上取得了 81.5% 的平均 IoU 得分，并提供了相应的代码和训练模型。

    Sep, 2018

  • DA-GAN：基于深度注意机制生成对抗网络的实例级图像翻译

    该论文提出了一种利用 Deep Attention GAN（DA-GAN）进行实例级图像翻译的新框架，可以在高度结构化的潜空间中将来自两个集合的样本进行转换，实例级的对应关系可以通过在学习到的实例对上进行注意力来发现，该方法在应用方面表现出了很好的效果。

    Feb, 2018

  • 具有语义感知上采样的局部和全局 GAN 用于图像生成

    本研究提出了一种基于本地上下文的语义引导图像生成方法，使用本地类别特定的生成网络构建和学习不同类别的子生成器以捕捉更精细的细节，通过一个分类模块来学习更具有鉴别性的类别特定特征表示，并使用一个注意力融合模块和双鉴别器结构嵌入的联合生成网络集成全局图像级别和本地类别特定生成的优点，同时提出了一种新颖的语义感知上采样方法，可以更好地保持相同语义标签实例的语义一致性。

    Feb, 2022

  • SGBANet：用于任意方向场景文本识别的语义 GAN 和平衡注意力网络

    本文提出一种新的场景文本识别方法，采用基于语义的生成对抗网络和平衡注意力网络相结合的方法，通过支持域和目标域之间的语义特征对齐，以及应用注意力平衡模块来解决注意力漂移问题，实现对文本图像的准确识别。

    Jul, 2022