Nov, 2023

自监督解缠：利用数据增强中的结构

PDF
TL;DR自我监督表示学习经常使用数据增强来诱导对数据的 “风格” 属性的某种不变性。然而，由于在训练时通常不知道下游任务，很难事先推断哪些属性实际上是 “风格”，并且可以安全地丢弃。为了解决这个问题，我们引入了一种更有原则性的方法，旨在解开 “风格” 特征而不是丢弃它们。关键思想是添加多个风格嵌入空间，其中：（i）每个空间对除一个增强操作外都不变；（ii）联合熵被最大化。我们从因果潜变量模型的角度形式化了我们的结构化数据增强过程，并证明了内容和（多个模块的）风格变量的可辨识性。我们在合成数据集上通过实验证明了我们方法的好处，然后在 ImageNet 上展示了有限但有希望的结果。
self-supervised representation learningdata augmentationsstyle attributesdisentangle style featuresstructured data-augmentation procedure
发现论文，激发创造
  • 自监督学习与数据扩充可证明地隔离内容与样式

    该研究针对自我监督表示学习中的数据增强方法进行理论分析，将数据增强通过构建潜变量模型实现，同时研究其在潜空间的统计和因果依赖关系，提出作者的理论和实验发现对于保留数据的不变性有较好的效果。

    Jun, 2021

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 组合观察的对抗性解缠

    使用变分自编码器 (Variational Autoencoders)，通过增加最小化对抗互信息项来消除样式 (Syle) 表示中的内容 (Content) 信息，从而实现有效地分离内容和样式相关属性。

    Jan, 2020

  • 无对抗训练的多类型解缠

    本文提出了一种针对多类型解缠的统一分布控制方法，以达到风格 - 内容解缠和多类型解缠的效果，在两个数据集上进行实验评估其风格解缠效果和无监督风格转移性能。

    Dec, 2020

  • SASSL: 通过神经风格迁移增强自监督学习

    基于神经风格迁移的 SASSL 方法通过将图像的语义属性和风格属性分离，并仅对风格进行转换，生成更多样化的增强样本，从而显著改善自监督表示学习的结果。实验证明该方法在 ImageNet 数据集上相对于 MoCo v2 能够提高超过 2% 的 top-1 分类性能，并且在五个不同的数据集上的迁移学习也有显著的改善，提高了高达 3.75%。

    Dec, 2023

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 多属性文本风格转换

    本文提出一种控制文本数据中多种因素变异的模型，用回译机制代替对解缠缠绕的限制，实现对性别、情感、产品类型等多个属性的控制，并通过在潜空间中的池化运算使内容保留和风格变化之间的权衡更加精细，进一步拓展了去耦合框架的应用范围。

    Nov, 2018

  • 重新思考内容和风格：探讨无监督去编码的偏差

    本文介绍了一种基于假设的无监督的 C-S 解缠方法，该方法使用模型归纳偏差并为内容和样式分别分配不同的作用，以近似真实数据分布并实现图像重建，并在几个流行的数据集上进行了实验，验证了方法的有效性。

    Feb, 2021

  • 用半监督式 GAN 进行解缠学习

    本文提出了一种基于 StyleGAN 的半监督高分辨率解缠方法，旨在克服现有解缠方法在处理高分辨率图像、重视解缠表示的限制以及无监督设置下的不可识别性等局限性。实验结果表明，使用仅有 0.25％〜2.5％的标记数据，就可以在合成和真实数据集上实现良好的解缠，同时提出了新的指标来量化生成器的可控性，并且在探究解缠表示学习和可控生成之间的权衡时，发现其之间存在重要的平衡关系。

    Mar, 2020

  • 图像合成的无监督鲁棒性潜在特征分离

    通过学习一个新的方法，深度生成模型可以不需要姿态注释便可学习到表征物体外观和姿态等属性的独立潜在特征，这些特征是可以解释的，且能够生成和修改图像。

    Oct, 2019