Oct, 2022

使用视觉 Transformer 进行细粒度的图片风格转换

PDF
TL;DR本文提出了一种新颖的 STTR 网络，采用视觉令牌将内容和样式映射到细粒度的特征空间，采用自注意力机制和交叉注意力机制实现微观的样式转换，在人造数据集的评估中取得了较高的效果。
convolutional neural networkimage style transferfine-grained style transformationvisual tokensstyle transformer
发现论文，激发创造
  • 基于 Transformer 的边缘增强图像风格迁移

    本研究介绍了一种新的基于转换器（transformer-based）方法和边缘损失（edge loss）的图像风格转换方法 STT，可以在保持较好的风格特征同时提升内容细节，避免产生过度渲染的模糊结果，并解决常见的内容泄漏问题。实验结果表明，STT 在图像风格转换方面具有与最先进的方法相当的性能。

    Jan, 2023

  • StyTr$^2$: 使用 Transformer 进行图像风格转移

    提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。

    May, 2021

  • 用 Transformer 和对比学习重新思考任意风格转换

    本研究提出了一种创新技术，通过样式一致的实例归一化和基于实例的对比学习方法来改进生成的艺术风格图片的质量，引入感知编码器来捕获样式特征，实验证明该方法生成了高质量的艺术风格图片并有效地避免了伪影。

    Apr, 2024

  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • 基于特征转换的通用风格迁移

    本論文提出了一種簡單而有效的方法，使用特徵轉換技術：白化和著色，實現了通用風格轉換，以轉換任意視覺風格並生成高質量的風格圖像。

    May, 2017

  • 关注感知的多笔画风格转移

    本文提出一种基于自我关注机制的多笔画风格迁移，通过使用自我关注机制来得出内容图像的关注热力图，并在不同的尺度下对内容特征和风格特征进行多样化笔画渲染，并加入柔性的特征融合策略来提高风格迁移的效果以及生成多笔画风格的图像。

    Jan, 2019

  • 提高恶意示例的可转移性：任意风格转移

    通过使用不同域中的数据增强，我们提出了一种名为 Style Transfer Method（STM）的新的攻击方法，利用提出的任意风格转换网络将图像转换为不同的域，从而显著提高了对抗性可转移性。

    Aug, 2023

  • 有条件的对抗神经艺术风格转移

    本文提出了一种新的神经样式转换模型，它是基于无需相关风格图像，可用于任何内容和风格的输入形成语义准确的生成图像，规避了全模型训练的烦恼，并通过单向 GAN 模型的确保循环一致性的结构，实现了更高效的训练和验证阶段以及更小的模型尺寸。

    Feb, 2023

  • 具有风格 - 关注网络的任意风格转移

    本文介绍了一种新型的样式注意力网络（SANet），它可以根据内容图像的语义空间分布有效、灵活地整合本地样式模式，并且通过新的身份损失函数和多层特征嵌入，使得该网络和解码器能够尽可能地保留内容结构，同时丰富样式模式，实验结果表明我们的算法能够实时地合成比现有算法产生更高质量的样式图像。

    Dec, 2018

  • 区域控制的风格转换

    我们提出了一种图像风格转化的训练方法，通过使用损失函数来约束不同区域的风格强度，并引入了一种特征融合方法，通过线性转换内容特征来保持其语义关系，该方法在大量实验证明了其有效性。

    Oct, 2023