ICCVMar, 2021

基于对角注意力和样式的 GAN 实现图像生成与转换中内容和风格解耦

PDF
TL;DR本研究提出了新的层级自适应对角空间注意力 (DAT) 层，用于分离图像生成模型中的空间内容和样式，并可以灵活地控制多域图像翻译任务中的内容和风格。实验表明，该方法在分离和控制生成图像中的空间特征方面优于现有模型。
image generative modelsdisentangling spatial contents and stylesdiagonal spatial attention layersgan inversion frameworkmulti-domain image translation
发现论文，激发创造
  • 生成对抗网络中的风格与内容分离

    该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN（SC-GAN），该算法可以让训练的生成敌对网络（GAN）以一种分离风格和内容的方式学习数据的表征。

    Nov, 2018

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • DA-GAN：基于深度注意机制生成对抗网络的实例级图像翻译

    该论文提出了一种利用 Deep Attention GAN（DA-GAN）进行实例级图像翻译的新框架，可以在高度结构化的潜空间中将来自两个集合的样本进行转换，实例级的对应关系可以通过在学习到的实例对上进行注意力来发现，该方法在应用方面表现出了很好的效果。

    Feb, 2018

  • 基于注意力引导的生成对抗网络的无监督图像转换

    本文提出了基于注意力机制的生成对抗网络 AGGAN，在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化，训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失，实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。

    Mar, 2019

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • SPA-GAN：用于图像翻译的空间注意力 GAN

    本文提出了 SPA-GAN，一种用于图像转换任务的新型空间关注 GAN 模型，它可以直接将注意机制引入到 GAN 体系结构中，以帮助生成器更加聚焦于源域和目标域之间的最具区分性的区域，从而产生更逼真的输出图像。在 SPA-GAN 训练中，引入了额外的特征图损失以保留域特定的特征，通过基准数据集上的定性和定量比较，SPA-GAN 相对于现有的引导注意力 GAN 模型表现出了更好的性能。

    Aug, 2019

  • AdaAttN：重新审视任意神经风格迁移中的注意力机制

    本文提出自适应注意力归一化模块 (AdaAttN) 来适应性地按点执行注意力归一化。通过从内容和风格图像的浅层和深层特征中学习空间注意力分数，来计算加权统计数据，最终通过本文提出的局部特征损失，实现高质量的任意图像 / 视频风格迁移。

    Aug, 2021

  • 本地 GAN：为生成模型设计二维本地注意机制

    本文提出了一种新的局部稀疏注意层，通过使用信息流图的新颖信息论准则来设计我们提出的稀疏注意模式，将 SAGAN 中密集的注意层替换为我们的构造，可获得非常显著的 FID、Inception 分数和纯视觉改进。同时，还提出了对注意机制进行反演的方法，并通过生成的显著性图可视化了所引入的注意头，展示他们的确捕捉到了真实图像的二维几何有趣方面。

    Nov, 2019

  • 关注力感知生成式对抗网络 (ATA-GANs)

    本研究提出了一种基于生成对抗网络的训练方法，通过利用教师 - 网络生成的注意力图来提高图像生成的质量，以及在生成的图像上执行弱目标定位。该方法在 HEp-2 细胞图像上进行了研究，表明其可以进行弱定位。该方法可用于图像生成和数据注释，例如在目标检测中。

    Feb, 2018