Apr, 2024

用 Transformer 和对比学习重新思考任意风格转换

PDF
TL;DR本研究提出了一种创新技术，通过样式一致的实例归一化和基于实例的对比学习方法来改进生成的艺术风格图片的质量，引入感知编码器来捕获样式特征，实验证明该方法生成了高质量的艺术风格图片并有效地避免了伪影。
arbitrary style transferstyle consistency instance normalizationinstance-based contrastive learningperception encoderstylized images
发现论文，激发创造
  • 通过对比学习增强领域任意图像风格转移

    本文提出一种使用深度对比学习的方法，通过学习图像特征来获得图像的样式表示，并使用生成网络进行样式转移。研究表明，相对于现有的基于二阶统计量的方法，这种方法能够更加有效地获取图像的样式信息并生成更好的结果。

    May, 2022

  • 使用视觉 Transformer 进行细粒度的图片风格转换

    本文提出了一种新颖的 STTR 网络，采用视觉令牌将内容和样式映射到细粒度的特征空间，采用自注意力机制和交叉注意力机制实现微观的样式转换，在人造数据集的评估中取得了较高的效果。

    Oct, 2022

  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • IRConStyle：使用对比学习和风格迁移的图像修复框架

    通过对比学习范式在低级任务上应用（如图像修复）的局限性及有效性的不确定性进行深入分析，提出了三个解决问题的准则，并结合对比学习的灵活性，基于风格转换提出了一种用于图像修复的新模块 ConStyle，并将其高效集成到任何 U-Net 结构的网络中，形成一个图像修复框架 (IRConStyle)，通过在各种图像修复任务上的广泛实验，包括去噪、去模糊、去雨和去雾，验证了 ConStyle 的能力和兼容性，通过替换通用修复网络为基于 transformer、CNN 和 MLP 的网络，ConStyle NAFNet 在 SOTS 户外（去雾）和 Rain100H（去雨）数据集上分别提升了 4.16 dB 和 3.58 dB，并且参数数量减少了 85%。

    Feb, 2024

  • StyTr$^2$: 使用 Transformer 进行图像风格转移

    提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。

    May, 2021

  • 泛化风格迁移中分离风格与内容

    提出一种广义的神经风格转移网络，由风格解码器、内容解码器、混合器和解码器组成，可用于多种风格的图像转移任务。

    Nov, 2017

  • 基于特征转换的通用风格迁移

    本論文提出了一種簡單而有效的方法，使用特徵轉換技術：白化和著色，實現了通用風格轉換，以轉換任意視覺風格並生成高質量的風格圖像。

    May, 2017

  • 自适应实例标准化下的实时任意风格转换

    本文提出了一种简单而有效的方法，通过引入自适应实例标准化（AdaIN）层，实现了实时的任意风格迁移，其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。

    Mar, 2017

  • 基于对比学习的梯度导向无监督文本风格转换

    本文提出了一种基于对比学习范式的新型文本风格转换模型，通过明确收集相似语义句子和设计基于孪生模型的风格分类器，以解决文本样式转换中的内容迁移和样式歧义等问题。针对这些问题，实验结果表明，该模型比现有技术更加有效。

    Jan, 2022

  • 多样式图像字幕的样式感知对比学习

    本文提出了一种针对多风格图像字幕生成的样式感知对比学习的方法，该方法基于对潜在与风格相关的视觉内容的对比学习，提出了一个样式感知的视觉编码器以及三种检索方案。实验结果表明，该方法的性能达到了最先进水平。

    Jan, 2023