CVPRMay, 2021

StyTr$^2$: 使用 Transformer 进行图像风格转移

PDF
TL;DR提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。
image style transferconvolutional neural networkstransformer-based approachcontent-aware positional encodingstate-of-the-art
发现论文，激发创造
  • 基于 Transformer 的边缘增强图像风格迁移

    本研究介绍了一种新的基于转换器（transformer-based）方法和边缘损失（edge loss）的图像风格转换方法 STT，可以在保持较好的风格特征同时提升内容细节，避免产生过度渲染的模糊结果，并解决常见的内容泄漏问题。实验结果表明，STT 在图像风格转换方面具有与最先进的方法相当的性能。

    Jan, 2023

  • 使用视觉 Transformer 进行细粒度的图片风格转换

    本文提出了一种新颖的 STTR 网络，采用视觉令牌将内容和样式映射到细粒度的特征空间，采用自注意力机制和交叉注意力机制实现微观的样式转换，在人造数据集的评估中取得了较高的效果。

    Oct, 2022

  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • 泛化风格迁移中分离风格与内容

    提出一种广义的神经风格转移网络，由风格解码器、内容解码器、混合器和解码器组成，可用于多种风格的图像转移任务。

    Nov, 2017

  • 用 Transformer 和对比学习重新思考任意风格转换

    本研究提出了一种创新技术，通过样式一致的实例归一化和基于实例的对比学习方法来改进生成的艺术风格图片的质量，引入感知编码器来捕获样式特征，实验证明该方法生成了高质量的艺术风格图片并有效地避免了伪影。

    Apr, 2024

  • Style Transformer: 无需分解潜变量的非配对文本风格转移

    本文提出 Style Transformer，它结合了注意力机制和变形器模型，可以更好地处理文本风格转移和内容保存的问题。

    May, 2019

  • 实时高清风格迁移的风格感知内容损失

    该论文提出了一种基于 Style-aware Content Loss 的 Encoder-Decoder 网络，可实现实时、高分辨率的图像和视频样式化，能够更好地捕捉样式对内容的微妙影响。

    Jul, 2018

  • 基于特征转换的通用风格迁移

    本論文提出了一種簡單而有效的方法，使用特徵轉換技術：白化和著色，實現了通用風格轉換，以轉換任意視覺風格並生成高質量的風格圖像。

    May, 2017

  • FastCLIPstyler: 使用样式表示进行无需优化的基于文本的图像风格转移

    通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比 CLIPstyler 快约 1000 倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

    Oct, 2022

  • InstantStyle-Plus: 文本到图像生成中保留内容的风格转换

    通过将风格转移任务分解为风格、空间结构和语义内容三个核心元素，本研究提出了 InstantStyle-Plus，一种注重原始内容完整性同时无缝整合目标风格的方法。通过有效的、轻量级的风格注入过程，并利用先进的 InstantStyle 框架，实现风格注入。为了增强内容保护，我们使用倒置的内容潜噪声和多功能的接插件式 ControlNet 来保持原始图像的内在布局。此外，还引入了全局语义适配器以增强语义内容的保真度，并使用风格提取器作为鉴别器提供辅助风格引导。

    Jun, 2024