ICCVAug, 2021

AdaAttN：重新审视任意神经风格迁移中的注意力机制

PDF
TL;DR本文提出自适应注意力归一化模块 (AdaAttN) 来适应性地按点执行注意力归一化。通过从内容和风格图像的浅层和深层特征中学习空间注意力分数，来计算加权统计数据，最终通过本文提出的局部特征损失，实现高质量的任意图像 / 视频风格迁移。
neural style transferattentionnormalizationlocal feature statisticsvideo style transfer
发现论文，激发创造
  • 自适应实例标准化下的实时任意风格转换

    本文提出了一种简单而有效的方法，通过引入自适应实例标准化（AdaIN）层，实现了实时的任意风格迁移，其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。

    Mar, 2017

  • 具有风格 - 关注网络的任意风格转移

    本文介绍了一种新型的样式注意力网络（SANet），它可以根据内容图像的语义空间分布有效、灵活地整合本地样式模式，并且通过新的身份损失函数和多层特征嵌入，使得该网络和解码器能够尽可能地保留内容结构，同时丰富样式模式，实验结果表明我们的算法能够实时地合成比现有算法产生更高质量的样式图像。

    Dec, 2018

  • 关注归一化

    本篇论文提出了一种轻量级的模式集成方案，称为 Attentive Normalization (AN)，将特征标准化和注意力机制相结合，实现了对实例的特征重新校准和调整，在 ImageNet 和 MS-COCO 的分类和检测任务中都获得了一致的性能提升。

    Aug, 2019

  • 多适应网络实现任意风格转换

    本文提出了一种多适应网络，它包括两个自适应模块和一个协同适应模块。该模型使用自适应模块分离内容和风格表示，并使用一种新的解缠结损失函数来提取主要的风格模式和确切的内容结构，根据各种输入图像进行相应的调整，这样能够更好地进行样式转移。实验证明，与现有的样式转移方法相比，提出的多适应网络可获得更好的结果。

    May, 2020

  • U-GAT-IT：自适应层 - 实例归一化的无监督生成式注意力网络用于图像翻译

    本文提出了一种新的无监督图像到图像的转换方法，它通过引入一个新的注意力模块和一个可学习的规范化函数，以端对端的方式来实现。

    Jul, 2019

  • 条件图像生成的注意力归一化

    本研究提出了注意力归一化模块 (AN) 用于改进图像的长程关联性以及利用语义对分割特征图进行处理，相比于自注意力 GAN，AN 不需要测量所有位置之间的关联性，因此可以直接应用于大尺寸的特征图，本文通过对比实验证明了 AN 的有效性。

    Apr, 2020

  • 基于对角注意力和样式的 GAN 实现图像生成与转换中内容和风格解耦

    本研究提出了新的层级自适应对角空间注意力 (DAT) 层，用于分离图像生成模型中的空间内容和样式，并可以灵活地控制多域图像翻译任务中的内容和风格。实验表明，该方法在分离和控制生成图像中的空间特征方面优于现有模型。

    Mar, 2021

  • 关注感知的多笔画风格转移

    本文提出一种基于自我关注机制的多笔画风格迁移，通过使用自我关注机制来得出内容图像的关注热力图，并在不同的尺度下对内容特征和风格特征进行多样化笔画渲染，并加入柔性的特征融合策略来提高风格迁移的效果以及生成多笔画风格的图像。

    Jan, 2019

  • StyleNAT: 为每个注意力头提供新的视角

    使用 Neighborhood Attention (NA) 技术进行图像生成，提高效率和灵活性，实现对数据的高度灵活适应。StyleNAT 在 FFHQ-256 和 FFHQ-1024 数据集上实现了新的最优成绩。

    Nov, 2022

  • 样式注入在扩散中：适应大规模扩散模型进行风格转换的无训练方法

    基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

    Dec, 2023