通过连续变异因素控制生成模型

ICLRJan, 2020

Controlling generative models with continuous factors of variations

Antoine Plumerault, Hervé Le Borgne, Céline Hudelot

TL;DR本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

Abstract

Recent deep generative models are able to provide photo-realistic images as well as visual or textual content embeddings useful to address various tasks of computer vision and natural language processing. Their usefulness is nevertheless often limited by the lack of control over the ge

deep generative models latent space interpretability image generation machine learning

发现论文，激发创造

GAN 参数空间的语义图像编辑导航

本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

Nov, 2020

LARGE: 基于 GAN 语义的潜变量回归

本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

Jul, 2021

GANSpace：发现可解释的 GAN 控制

这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

Apr, 2020

无需视角监督的多视角数据生成

提出了一种基于无监督多视图生成模型的条件变体，可在高维空间中生成各种物体的逼真样本，相比于其他条件生成方法，我们不会对变差因素做任何假设，不需要视图的监督。

Nov, 2017

通过矩阵分解探索 GAN 潜在空间中的语义变化

使用 PCA 的 GANSpace 方法学习的图片操作存在高度联系限制，因此，使用 ICA 替代 PCA 可以提高操作的质量和解缠效果。无论 GANs 的复杂性如何，他们的潜空间中都存在基本的控制方向。

May, 2023

深度生成图像模型的几何学及其应用

本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

Jan, 2021

学习图像中个体物体的操纵

本文提出一种训练生成模型的方法，通过强制要求上下文信息分离和知觉循环一致性的结合，让潜在变量只会影响到某个物体的局部区域，从而实现对象为中心的操作，而且不需要对象级别的注释。