重新思考内容和风格:探讨无监督去编码的偏差
通过提出一种新的内容和风格 (C-S) 分离框架来实现风格迁移,利用 CLIP 图像空间中的显式内容信息提取和隐式学习得到互补风格信息,以实现可解释和可控的 C-S 分离和风格迁移,通过扩展扩散模型的风格去除和生成能力,实现了卓越的结果和灵活的 C-S 分离与权衡控制,为风格迁移中的 C-S 分离提供了新的见解并展示了扩散模型在学习良好分离的 C-S 特征方面的潜力。
Aug, 2023
本文提出了一种创新的框架,利用两个分支的自编码器来学习内容和风格分离的表征,并通过多个损失约束辅助无监督学习,最终生成清晰、高质量的 256*256 分辨率的图片。
May, 2019
该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN(SC-GAN),该算法可以让训练的生成敌对网络(GAN)以一种分离风格和内容的方式学习数据的表征。
Nov, 2018
自我监督表示学习经常使用数据增强来诱导对数据的 “风格” 属性的某种不变性。然而,由于在训练时通常不知道下游任务,很难事先推断哪些属性实际上是 “风格”,并且可以安全地丢弃。为了解决这个问题,我们引入了一种更有原则性的方法,旨在解开 “风格” 特征而不是丢弃它们。关键思想是添加多个风格嵌入空间,其中:(i)每个空间对除一个增强操作外都不变;(ii)联合熵被最大化。我们从因果潜变量模型的角度形式化了我们的结构化数据增强过程,并证明了内容和(多个模块的)风格变量的可辨识性。我们在合成数据集上通过实验证明了我们方法的好处,然后在 ImageNet 上展示了有限但有希望的结果。
Nov, 2023
这篇论文通过引入共变量先验偏好,提出了一种名为 C-Disentanglement 的框架,用于识别因果生成因子,并在领域变化下取得了与各种 SOTA 基准方法相比具有竞争力的结果。
Oct, 2023
我们开发了一种名为 DualContrast 的新型自监督方法,专门用于解决与形状相关的图像数据集中的内容和变换的无监督分离问题。我们的广泛实验证明了 DualContrast 相对于现有的自监督和显式参数化方法的优越性。我们利用 DualContrast 在细胞 3D 蛋白质图像中分离了蛋白质的身份和构象,以及在 MNIST、Linemod Object 数据集中的视角以及在 Starmen 数据集中的人体运动变形作为变换。
May, 2024
本文提出了一种基于扩散的非监督图像转换方法,使用分离的风格和内容表征,并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失,并匹配文本驱动风格转移的 [CLS] 分类令牌,同时使用额外的 CLIP 损失,实验结果表明,该方法在文本引导和图像引导的转换任务中优于现有的基准模型。
Sep, 2022
通过频率特征分析,本文提出了一种以纯无监督方式工作的内容 - 风格分离化妆转换方法(CSD-MT),通过频率分解来解耦每个面部图像中的内容和化妆风格信息,进而实现化妆转换,并通过引入两种新设计的损失函数进一步提高转换性能。
May, 2024
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对 8 个数据集进行超过 14,000 个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020