GAN的判别器可近似性意味着多样性
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标函数上的收敛蕴含着弱收敛。
May, 2017
本文研究生成对抗网络中的学习动态,通过对简单但富有挑战性收敛行为(如梯度消失、模式崩溃、发散或振荡)的参数模型进行理论分析和实践研究,发现使用一阶判别器步骤是导致GAN训练具有挑战性的因素之一。
Jun, 2017
本文提出了一种名为双判别器生成对抗网络(D2GAN)的生成对抗网络算法,该算法使用KL散度和反KL散度,避免了多峰性分布的崩塌问题,并在广泛的实验中证明了与最新GAN算法相比的竞争和卓越性能。
Sep, 2017
本文通过分析数学和统计学特性,研究生成式对抗网络与Jensen-Shannon散度的深刻联系,并提供鉴别器族群的逼近论证及样本估计分布的大样本性质,特别地证明了中心极限定理。
Mar, 2018
本篇论文提出了一种基于随机投影的生成模型,该模型较传统的GAN模型更加稳定和精确,采用的Wasserstein距离作为度量计算生成样本的真实性,可以得到更准确的生成结果。
Mar, 2018
该研究提出了一种新的方法来减少GANs中的模式坍塌问题,即通过引入一种通用的置换不变鉴别器架构来训练一个预测混合批的真假样本比例的不变鉴别器得分来代替传统方式评估单个样本的鉴别器。实验证明,在两个合成数据集上,这种方法有效地减少了模式坍塌,而在CIFAR10和CelebA数据集上得到了良好的定性和定量结果。
Jun, 2018
本文对生成对抗网络(GAN)进行了分析,特别是统计推理这一过程的理论特征,提出了一种简单形式的GAN,称为受限f-GANs,发现线性KL-GANs的最优生成器所推断出的分布是最大似然与矩法解的有趣组合。
Sep, 2018
本文介绍了区分度对比散度方法,该方法基于 WGANs 的判别器性质和 WGANs 与能量基模型之间的关系,并利用 WGANs 判别器所包含的信息来提高图像生成的质量。我们使用随机梯度的方式实现判别器对样本密度比率的估计,然后在 Langevin 动力学的多个时间步骤中生成样本。在合成数据和实际图像生成基准测试方面,我们证明了这种改进可以显著提高图像生成。
Apr, 2020
本文研究了生成对抗网络(GAN)如何从有限样本中学习概率分布,得到了GAN在一组H"older类定义的积分概率度量下的收敛速度和Wasserstein距离特殊情况下的学习率,并证明了当网络结构适当选择时,GAN能够自适应地学习低维结构或具有H"older密度的数据分布。特别是对于集中在低维集合周围的分布,我们展示了GAN的学习速率不取决于高环境维度,而取决于较低的内在维度。我们的分析基于一种新的神谕不等式,将估计误差分解为生成器和鉴别器逼近误差和统计误差,这可能是具有独立研究价值的。
May, 2021