通过可调节的分类损失解决GAN训练不稳定性
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标函数上的收敛蕴含着弱收敛。
May, 2017
本研究将生成式对抗网络的minimax博弈与一个凸优化问题中的Lagrangian函数的鞍点联系起来,并展示了标准GAN训练过程和凸优化的原始 - 对偶次梯度方法之间的联系。此外,本研究提出了一种新的目标函数来训练模型,以解决模式塌陷和生成多样化的问题。实验结果显示了该方法的有效性。
Feb, 2018
本文通过分析数学和统计学特性,研究生成式对抗网络与Jensen-Shannon散度的深刻联系,并提供鉴别器族群的逼近论证及样本估计分布的大样本性质,特别地证明了中心极限定理。
Mar, 2018
本研究讨论了与 G(生成器)相关的大多数损失函数的属性,表明这些损失函数并不是发散的,并且不具有发散的期望平衡。研究结果显示, GANs 不符合发散最小化理论,并且形成了比先前假设的模型更广泛的模型范围。
Sep, 2018
本文介绍了一种用于分析生成对抗网络的凸对偶框架,提出在约束条件为凸集时,通过最小化生成模型与经过判别器的数据分布匹配但是被期望的矩所限制的分布的 JS 散度,来得到生成模型。同时,将此框架应用于 f-GAN 和 Wasserstein GAN 网络,提出了一种新的混合 JS 散度和 Wasserstein 距离的分布度量用于正则化中。
Oct, 2018
本文通过分析实际情景下GAN的泛化能力,证明了原始GAN的损失函数训练得到的鉴别器的泛化能力较差,并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力,并保证GAN的收敛和泛化。通过在合成和大规模数据集上的实验,验证了理论分析的正确性。
Feb, 2019
研究了一种新型的min-max优化框架,其中max-player在贪心策略下更新参数至一阶稳定点;给出了在平稳性要求下的定理证明,提出了一种利用随机梯度估计的GAN训练算法,成功地避免了模式崩溃的问题。
Jun, 2020
引入了一种统一的α参数化生成器损失函数,用于一种双目标生成对抗网络(GAN),其使用经典鉴别器损失函数,例如原始GAN(VanillaGAN)系统中的损失函数。生成器损失函数基于对称类概率估计类型函数L_α,得到的GAN系统称为L_α-GAN。在最优鉴别器下,证明了生成器的优化问题包括最小化Jensen-f_α-分歧,这是Jensen-Shannon分歧的自然推广,其中f_α是用损失函数L_α表示的凸函数。还证明了这个L_α-GAN问题作为文献中一些GAN问题的特例,包括VanillaGAN、最小二乘GAN(LSGAN)、最小k阶GAN(LkGAN)和最近引入的(αD,αG)-GAN(其中αD=1)。最后,在三个数据集MNIST、CIFAR-10和Stacked MNIST上进行实验,以说明各种示例的L_α-GAN系统的性能。
Aug, 2023