CVPRApr, 2020

通过结构化噪声注入实现图像分离生成

PDF
TL;DR通过多个噪声编码与全连接层进行注入噪声的设计选择，实现了对生成对抗网络（GANs）的潜在空间进行解缠纷的目标，并达到更好的解缠纷分数，同时实现了对生成图像的空间解缠纷、尺度空间解缠纷和前景对象与背景样式的解缠纷，从而实现了对生成图像的精细控制。
generative adversarial networksdisentanglementlatent spacenoise injectionfine-grained control
发现论文，激发创造
  • 通过独立子空间学习分离的表示

    本论文提出了一种利用神经网络学习解开图像可控制性表示从而允许局部图像操作的方法，能够直接转移面部特定区域如眼睛、头发和嘴巴等部分的形状和颜色，而其他部位不变，通过使用定位的 ResNet 自编码器和几个损失函数进行训练，利用 CelebA 数据集检验了该方法的良好效果。

    Aug, 2019

  • 生成对抗网络中的风格与内容分离

    该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN（SC-GAN），该算法可以让训练的生成敌对网络（GAN）以一种分离风格和内容的方式学习数据的表征。

    Nov, 2018

  • 高保真度分离表示合成

    提出了一种基于信息提取的生成对抗网络框架（ID-GAN），可用于通过 VAE-based 模型学习分离表示，并将其提炼为生成高保真图像的 GAN 生成器。

    Jan, 2020

  • 分离式人物图像生成

    本研究提出了一种基于二阶段重建管道的方法来生成真实但新颖的人物图像，该方法利用解耦表示学习各种图像因素，并同时生成新的人物图像，实验结果表明该方法不仅能够生成具有新前景、背景和姿态的逼真人物图像，还能用于人物再识别任务。

    Dec, 2017

  • 生成对抗网络中的对比式解缠

    本文从对比学习的角度提出了一种新的对抗生成网络（CD-GAN）来解决因潜变量的后验推断和缺乏样本似然性而难以实现的生成模型因果解释的问题，它通过对比图像特征来实现对数据中不同类之间可辨别属性的提取，并通过仅有的有限监督来提高模型的性能。实验结果表明了该模型在多个数据集上对数据进行高效的可解释性特征提取。

    Mar, 2021

  • 图像去噪：基于样式解缠的方法

    通过提取噪音图片和清晰图片的噪音样式和无噪音样式，并利用低响应噪音特征和高响应内容特征的特征空间，从而分离干净内容和噪音，实现像素级属性编辑的图像去噪方法。在合成噪音去除和真实世界图像去噪数据集（SIDD 和 DND）上的广泛实验证明了该方法在 PSNR 和 SSIM 度量方面的有效性，并且在实验中验证了该方法具有良好的可解释性。

    Sep, 2023

  • 用半监督式 GAN 进行解缠学习

    本文提出了一种基于 StyleGAN 的半监督高分辨率解缠方法，旨在克服现有解缠方法在处理高分辨率图像、重视解缠表示的限制以及无监督设置下的不可识别性等局限性。实验结果表明，使用仅有 0.25％〜2.5％的标记数据，就可以在合成和真实数据集上实现良好的解缠，同时提出了新的指标来量化生成器的可控性，并且在探究解缠表示学习和可控生成之间的权衡时，发现其之间存在重要的平衡关系。

    Mar, 2020

  • 使用对抗训练解缠混合因素的深度表达

    我们提出了一种有条件的生成模型，用于学习将标记的观察结果的隐藏变化因素分离并分解成互补代码，实验结果表明该方法能够推广到未见过的类别和内类别变异。

    Nov, 2016

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020