生成对抗网络: 超越散度最小化
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标函数上的收敛蕴含着弱收敛。
May, 2017
本文通过使用通常仅用于培训的散度和距离函数来对各种类型的GAN性能进行评估,观察了所提出的度量之间的一致性,发现测试时间指标并不支持使用相同训练时间标准的网络,我们还将所提出的度量与人类感知分数进行比较。
Mar, 2018
本文通过分析数学和统计学特性,研究生成式对抗网络与Jensen-Shannon散度的深刻联系,并提供鉴别器族群的逼近论证及样本估计分布的大样本性质,特别地证明了中心极限定理。
Mar, 2018
本文介绍了一种用于分析生成对抗网络的凸对偶框架,提出在约束条件为凸集时,通过最小化生成模型与经过判别器的数据分布匹配但是被期望的矩所限制的分布的 JS 散度,来得到生成模型。同时,将此框架应用于 f-GAN 和 Wasserstein GAN 网络,提出了一种新的混合 JS 散度和 Wasserstein 距离的分布度量用于正则化中。
Oct, 2018
本文提出了一种新型的生成对抗网络GAN-QP,它不需要Lipschitz约束,也不需要选择概率分布,可以直接在对偶空间中构建新的分布,并且理论和实践中要优于WGAN。
Nov, 2018
本文研究Lipschitz正则化在GAN训练中的作用,发现其通过限制损失函数的定义域和可达到梯度值的区间,使得损失函数近似线性化,并且证明了只有这种近似于线性的损失函数才能达到良好的效果。除此之外,文章也证明了只要通过正则化让任何函数近似于线性函数,就可以作为损失函数使用。
Nov, 2018
引入了一种统一的α参数化生成器损失函数,用于一种双目标生成对抗网络(GAN),其使用经典鉴别器损失函数,例如原始GAN(VanillaGAN)系统中的损失函数。生成器损失函数基于对称类概率估计类型函数L_α,得到的GAN系统称为L_α-GAN。在最优鉴别器下,证明了生成器的优化问题包括最小化Jensen-f_α-分歧,这是Jensen-Shannon分歧的自然推广,其中f_α是用损失函数L_α表示的凸函数。还证明了这个L_α-GAN问题作为文献中一些GAN问题的特例,包括VanillaGAN、最小二乘GAN(LSGAN)、最小k阶GAN(LkGAN)和最近引入的(αD,αG)-GAN(其中αD=1)。最后,在三个数据集MNIST、CIFAR-10和Stacked MNIST上进行实验,以说明各种示例的L_α-GAN系统的性能。
Aug, 2023