CVPRMay, 2024

Puff-Net: 纯内容和风格特征融合网络的高效样式迁移

PDF
TL;DR我们提出了一种新颖的仅包含编码器的变换器模型，以显著降低计算成本，并设计了内容特征提取器和风格特征提取器，用于向变换器提供纯内容和风格图像。最后，我们提出了一种名为 Puff-Net 的新型网络，即纯内容和风格特征融合网络。通过定性和定量实验证明了我们模型相比文献中的最先进模型的优势。
发现论文，激发创造
  • 泛化风格迁移中分离风格与内容

    提出一种广义的神经风格转移网络，由风格解码器、内容解码器、混合器和解码器组成，可用于多种风格的图像转移任务。

    Nov, 2017

  • 任意风格的快速基于块的风格转移

    本文提出了一种基于局部匹配和卷积神经网络的简单优化目标，该目标可以在保持效率的同时，产生艺术风格迁移的高品质结果。同时，本文结合内容结构和风格纹理，利用预训练网络的单层来实现该目标，并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练，这使得整个算法支持任意图像进行迁移。

    Dec, 2016

  • StyTr$^2$: 使用 Transformer 进行图像风格转移

    提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。

    May, 2021

  • EFANet: 可交换特征对齐网路用于任意风格转换

    本研究提出了一个称为 EFANet 的新型转换框架，它考虑交换特征并分析内容和样式图像对提取的特征进行更好的对齐，以实现更好的结构化风格化结果，并开发了一种新的白化损失来净化计算出的内容特征并更好地融合特征空间中的样式。定量和定性实验都证明了我们方法的优越性。

    Nov, 2018

  • 神经架构搜索实现的超快照片真实风格转移

    本文提出了一种基于 PhotoNet 和神经架构搜索的相机级画风快速迁移算法，在保持细节保留和逼真性的同时，相比当前最先进的方法可以实现 20-30 倍的加速，而无需进行预处理或后处理。

    Dec, 2019

  • 基于特征转换的通用风格迁移

    本論文提出了一種簡單而有效的方法，使用特徵轉換技術：白化和著色，實現了通用風格轉換，以轉換任意視覺風格並生成高質量的風格圖像。

    May, 2017

  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • 实时高清风格迁移的风格感知内容损失

    该论文提出了一种基于 Style-aware Content Loss 的 Encoder-Decoder 网络，可实现实时、高分辨率的图像和视频样式化，能够更好地捕捉样式对内容的微妙影响。

    Jul, 2018

  • 基于 Transformer 的边缘增强图像风格迁移

    本研究介绍了一种新的基于转换器（transformer-based）方法和边缘损失（edge loss）的图像风格转换方法 STT，可以在保持较好的风格特征同时提升内容细节，避免产生过度渲染的模糊结果，并解决常见的内容泄漏问题。实验结果表明，STT 在图像风格转换方面具有与最先进的方法相当的性能。

    Jan, 2023

  • InstantStyle-Plus: 文本到图像生成中保留内容的风格转换

    通过将风格转移任务分解为风格、空间结构和语义内容三个核心元素，本研究提出了 InstantStyle-Plus，一种注重原始内容完整性同时无缝整合目标风格的方法。通过有效的、轻量级的风格注入过程，并利用先进的 InstantStyle 框架，实现风格注入。为了增强内容保护，我们使用倒置的内容潜噪声和多功能的接插件式 ControlNet 来保持原始图像的内在布局。此外，还引入了全局语义适配器以增强语义内容的保真度，并使用风格提取器作为鉴别器提供辅助风格引导。

    Jun, 2024