ICMLMar, 2020

用半监督式 GAN 进行解缠学习

PDF
TL;DR本文提出了一种基于 StyleGAN 的半监督高分辨率解缠方法，旨在克服现有解缠方法在处理高分辨率图像、重视解缠表示的限制以及无监督设置下的不可识别性等局限性。实验结果表明，使用仅有 0.25％〜2.5％的标记数据，就可以在合成和真实数据集上实现良好的解缠，同时提出了新的指标来量化生成器的可控性，并且在探究解缠表示学习和可控生成之间的权衡时，发现其之间存在重要的平衡关系。
disentanglementsemi-supervised learningcontrollable generationhigh-resolution imagesgenerator controllability
发现论文，激发创造
  • 高保真度分离表示合成

    提出了一种基于信息提取的生成对抗网络框架（ID-GAN），可用于通过 VAE-based 模型学习分离表示，并将其提炼为生成高保真图像的 GAN 生成器。

    Jan, 2020

  • 生成对抗网络中的风格与内容分离

    该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN（SC-GAN），该算法可以让训练的生成敌对网络（GAN）以一种分离风格和内容的方式学习数据的表征。

    Nov, 2018

  • 线性编码面部语义的无监督解缠

    本文介绍了一种无需外部监督即可将线性编码的面部语义从 StyleGAN 中分离的方法，并结合稳定的三维可变形面部重建方法将单视图 GAN 生成物分解为多个语义。同时，我们还展示了沿着分离表示进行引导外推可以帮助进行数据增强，并提供了对我们学习到的面部表示的分析。

    Mar, 2021

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 生成对抗网络中的对比式解缠

    本文从对比学习的角度提出了一种新的对抗生成网络（CD-GAN）来解决因潜变量的后验推断和缺乏样本似然性而难以实现的生成模型因果解释的问题，它通过对比图像特征来实现对数据中不同类之间可辨别属性的提取，并通过仅有的有限监督来提高模型的性能。实验结果表明了该模型在多个数据集上对数据进行高效的可解释性特征提取。

    Mar, 2021

  • MOST-GAN: 用于解耦脸部图像操作的 3D 可塑造风格 GAN

    MOST-GAN 使用 3D 形态模型耦合现代化 2D 变形网络实现面部图像生成、控制和逼真操作。

    Nov, 2021

  • 通过结构化噪声注入实现图像分离生成

    通过多个噪声编码与全连接层进行注入噪声的设计选择，实现了对生成对抗网络（GANs）的潜在空间进行解缠纷的目标，并达到更好的解缠纷分数，同时实现了对生成图像的空间解缠纷、尺度空间解缠纷和前景对象与背景样式的解缠纷，从而实现了对生成图像的精细控制。

    Apr, 2020

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 图像合成的无监督鲁棒性潜在特征分离

    通过学习一个新的方法，深度生成模型可以不需要姿态注释便可学习到表征物体外观和姿态等属性的独立潜在特征，这些特征是可以解释的，且能够生成和修改图像。

    Oct, 2019

  • 无自编码的无监督解缠的陷阱和未来方向

    本文研究基于对比学习的正则化方法来实现大规模数据集的非监督式解缠表示学习，并分析了不同正则化方法的利弊与下游任务性能表现。

    Aug, 2021