本文提出了一个名为 InterFaceGAN 的新框架,用于解释 GAN 学习到的语义面部编辑,并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现,精心训练的生成模型的潜在编码实际上学习了一个分离的表示,在线性变换后解旋,通过子空间投影来解开某些绑定属性,实现更精确的面部特征控制,并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。
Jul, 2019
本研究提出了一种新的控制图像属性的编辑方法,通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑,并保留图像身份和真实感。此外,提出了客观评价标准以衡量模型性能,结果表明该模型在目标图像操作方面达到了最先进水平。
Feb, 2021
通过在中间的潜空间使用具有空间维度的调制替换 AdaIN,我们提出了 StyleMapGAN,它使得通过编码器的嵌入比现有基于优化方法更加准确,同时保持 GAN 的属性。实验结果表明,我们的方法在各种图像操作任务中显著优于最先进的模型。
Apr, 2021
本文主要探讨如何通过线性转换生成图像的特征向量来实现对生成对图像内容的语义控制,并提出了两种基于语义的图像编辑方法:语义条件采样和语义图像编辑。
本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向,从而实现对图像的控制生成,其应用包括弱监督显着性检测等。
Feb, 2020
提出一种新的方法 EditGAN,通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑,同时利用生成对抗网络和条件潜空间优化来实现编辑。
Nov, 2021
本文研究生成对抗网络(GANs)中的潜在空间与三维对象的关系,探讨了几种 GAN 的变体和训练方法,旨在提高 3D GAN 的训练效果,同时提出了未来研究的方向。
Apr, 2023
本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制,并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量,这一方法可以有效地优化潜在空间的优化等应用,并便于解释变换维度。
Jan, 2021
本文提出了一种新的方法,通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性,从而精确地控制生成图像的特定属性,如位置或比例。该方法对于搜索编码生成图像的简单变换方向(如平移,缩放或颜色变化)特别适用,并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。
Jan, 2020
这篇论文介绍了一种简单的技术,用于分析生成对抗网络(GANs)并创建图像合成的可解释性控制,例如视角变化、衰老、照明和白天时间,通过主成分分析(PCA)在潜在空间或特征空间中应用来识别重要的潜在方向。然后,我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外,我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制,并显示了在不同数据集上训练的各种 GAN 上的结果,并通过较早的监督方法找到了良好的定性匹配。
Apr, 2020