Jul, 2023

InfoStyler：艺术风格转换中的解缠信息瓶颈

PDF
TL;DR我们提出了一种名为 InfoStyler 的新颖信息分解方法，通过消除内容图像中的样式统计数据和去除样式图像中的内容结构，捕获了内容和样式表示的最小充分信息。此外，为了进一步促进信息分解学习，我们提出了一种跨域信息瓶颈学习策略，通过重建内容和样式域来实现。大量实验证明，我们的 InfoStyler 可以在平衡内容结构保存和样式纹理丰富性的同时合成高质量的风格化图像。
artistic style transfercontent preservationstyle transferringinformation disentanglement methodcross-domain information bottleneck learning
发现论文，激发创造
  • 一个用于图像风格转换的内容变换块

    该论文主要研究了利用内容转换模块和归一化层实现以样式为导向的图像风格转移，并且能够实现高分辨率图像合成和实时视频风格化，通过定量和定性的实验验证了该方法的有效性。

    Mar, 2020

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 实时高清风格迁移的风格感知内容损失

    该论文提出了一种基于 Style-aware Content Loss 的 Encoder-Decoder 网络，可实现实时、高分辨率的图像和视频样式化，能够更好地捕捉样式对内容的微妙影响。

    Jul, 2018

  • ALADIN-NST: 基于神经风格转换的自监督解缕编码学习艺术风格

    我们的论文旨在学习一种视觉艺术风格的表示形式，该表示形式从语义内容中更强的解离出来，我们使用神经风格转换（NST）来测量和驱动学习信号，并在明确解离度量上实现了最先进的表示学习。我们表明，强调风格和内容的解离会在风格特定度量方面取得大量收益，编码较少的语义信息并在下游多模态应用中实现最先进的准确性。

    Apr, 2023

  • 非平行文本风格转换中的解耦表征学习

    本文提出了一个利用多任务和敌对目标进行辅助的简单但有效的方法，用于预测 label 和词袋模型，以此解决了语言模型中风格和内容的潜在变量发掘问题。同时有效地实现了风格迁移，并取得了较之前的最先进方法更好的迁移精度、内容保存和语言流畅度。

    Aug, 2018

  • StyleDiffusion: 通过扩散模型实现可控的解耦风格转移

    通过提出一种新的内容和风格 (C-S) 分离框架来实现风格迁移，利用 CLIP 图像空间中的显式内容信息提取和隐式学习得到互补风格信息，以实现可解释和可控的 C-S 分离和风格迁移，通过扩展扩散模型的风格去除和生成能力，实现了卓越的结果和灵活的 C-S 分离与权衡控制，为风格迁移中的 C-S 分离提供了新的见解并展示了扩散模型在学习良好分离的 C-S 特征方面的潜力。

    Aug, 2023

  • 泛化风格迁移中分离风格与内容

    提出一种广义的神经风格转移网络，由风格解码器、内容解码器、混合器和解码器组成，可用于多种风格的图像转移任务。

    Nov, 2017

  • StyTr$^2$: 使用 Transformer 进行图像风格转移

    提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。

    May, 2021

  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • ArtBank: 利用预训练扩散模型和隐式风格提示库实现艺术风格转换

    我们提出了 ArtBank，一种新颖的艺术风格转换框架，旨在生成高度逼真且保留内容结构的风格化图像。通过设计可训练的参数矩阵集合 - 隐式风格提示库（ISPB），从艺术作品的集合中学习和存储知识，作为视觉提示，指导预训练大规模模型生成高度逼真的风格化图像，同时保留内容结构。此外，我们提出了一种基于空间统计的自注意力模块（SSAM），加速训练 ISPB。定性和定量实验证明了我们提出的方法优于现有的艺术风格转换方法。

    Dec, 2023