ICCVAug, 2023

StyleDiffusion: 通过扩散模型实现可控的解耦风格转移

PDF
TL;DR通过提出一种新的内容和风格 (C-S) 分离框架来实现风格迁移，利用 CLIP 图像空间中的显式内容信息提取和隐式学习得到互补风格信息，以实现可解释和可控的 C-S 分离和风格迁移，通过扩展扩散模型的风格去除和生成能力，实现了卓越的结果和灵活的 C-S 分离与权衡控制，为风格迁移中的 C-S 分离提供了新的见解并展示了扩散模型在学习良好分离的 C-S 特征方面的潜力。
发现论文，激发创造
  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • 重新思考内容和风格：探讨无监督去编码的偏差

    本文介绍了一种基于假设的无监督的 C-S 解缠方法，该方法使用模型归纳偏差并为内容和样式分别分配不同的作用，以近似真实数据分布并实现图像重建，并在几个流行的数据集上进行了实验，验证了方法的有效性。

    Feb, 2021

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 生成对抗网络中的风格与内容分离

    该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN（SC-GAN），该算法可以让训练的生成敌对网络（GAN）以一种分离风格和内容的方式学习数据的表征。

    Nov, 2018

  • 无对抗训练的多类型解缠

    本文提出了一种针对多类型解缠的统一分布控制方法，以达到风格 - 内容解缠和多类型解缠的效果，在两个数据集上进行实验评估其风格解缠效果和无监督风格转移性能。

    Dec, 2020

  • 多属性文本风格转换

    本文提出一种控制文本数据中多种因素变异的模型，用回译机制代替对解缠缠绕的限制，实现对性别、情感、产品类型等多个属性的控制，并通过在潜空间中的池化运算使内容保留和风格变化之间的权衡更加精细，进一步拓展了去耦合框架的应用范围。

    Nov, 2018

  • 3DSNet：无监督形状到形状的 3D 风格转换

    本研究提出了一种基于分离内容和风格表示的基于学习的方法，用于在 3D 对象之间进行风格转移，可以合成以目标 3D 模型为风格，来源 3D 模型为内容的新 3D 形状，同时我们还将其扩展到了多样式分布的隐式学习。实验结果证实了该方法在多个基准测试中的有效性。

    Nov, 2020

  • InfoStyler：艺术风格转换中的解缠信息瓶颈

    我们提出了一种名为 InfoStyler 的新颖信息分解方法，通过消除内容图像中的样式统计数据和去除样式图像中的内容结构，捕获了内容和样式表示的最小充分信息。此外，为了进一步促进信息分解学习，我们提出了一种跨域信息瓶颈学习策略，通过重建内容和样式域来实现。大量实验证明，我们的 InfoStyler 可以在平衡内容结构保存和样式纹理丰富性的同时合成高质量的风格化图像。

    Jul, 2023

  • 非平行文本风格转换中的解耦表征学习

    本文提出了一个利用多任务和敌对目标进行辅助的简单但有效的方法，用于预测 label 和词袋模型，以此解决了语言模型中风格和内容的潜在变量发掘问题。同时有效地实现了风格迁移，并取得了较之前的最先进方法更好的迁移精度、内容保存和语言流畅度。

    Aug, 2018

  • $Z^*$：基于注意力重排的零样式转移

    通过理论分析和实验，本研究展示了扩散模型在零样式转换的有效性和优越性，并引入了交叉注意力重排策略，使样式信息能够直接提取并无缝集成到内容图像中。

    Nov, 2023