GAN 中的歧视 - 泛化取舍
本文通过分析实际情景下 GAN 的泛化能力,证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差,并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力,并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验,验证了理论分析的正确性。
Feb, 2019
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标函数上的收敛蕴含着弱收敛。
May, 2017
本文提出了一种使用误差度量方法来训练生成式对抗网络,通过该方法可以获得更好的泛化性能,并使用该方法来训练 DGAN 和 EDGAN 等两个算法,实现了在玩具示例和多个基准数据集上的有竞争力的性能表现。
Oct, 2019
本文研究发现,通过针对特定生成器选择具有强鉴别能力的鉴别器以学习 Wasserstein 距离下(或者在很多情况下是 KL 散度下)的分布,一定能以多项式复杂度学习,从而解决了 GANs 过于简单导致模式严重缺失的问题。
Jun, 2018
通过对生成对抗网络的训练,我们发现它可能没有良好的泛化特性,并且展示了训练成功不代表训练的分布接近目标分布,但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时,鉴别器 / 生成器博弈存在近似的纯平衡,这启发了 MIX+GAN 协议的存在可以与任何现有的 GAN 训练相结合,并在实践中改善了其中一些。
Mar, 2017
本文介绍了一种用于分析生成对抗网络的凸对偶框架,提出在约束条件为凸集时,通过最小化生成模型与经过判别器的数据分布匹配但是被期望的矩所限制的分布的 JS 散度,来得到生成模型。同时,将此框架应用于 f-GAN 和 Wasserstein GAN 网络,提出了一种新的混合 JS 散度和 Wasserstein 距离的分布度量用于正则化中。
Oct, 2018
提出了一种基于多个鉴别器网络来训练生成器的创新框架,通过更新分配给每个判别器的混合权重来反映生成器的进展情况,实验结果表明能够通过学习曲线来提高样本的质量和多样性。
Jul, 2018
提出了一种用于离散数据训练生成式对抗网络(GANs)的方法,称为边界寻找 GANs(BGANs)。该方法利用鉴别器估计的差异度量计算生成样本的重要性权重,为训练生成器提供了策略梯度,并证明了该算法在离散图像和字符基自然语言生成方面具有很好的效果。此外,目标函数可以扩展到连续的数据集,可用于提高训练的稳定性,并证明了在 Celeba、LSUN 卧室场景理解和 Imagenet 数据集上,该方法的实用性。
Feb, 2017
本文对生成对抗网络(GAN)进行了分析,特别是统计推理这一过程的理论特征,提出了一种简单形式的 GAN,称为受限 f-GANs,发现线性 KL-GANs 的最优生成器所推断出的分布是最大似然与矩法解的有趣组合。
Sep, 2018
本研究讨论了与 G(生成器)相关的大多数损失函数的属性,表明这些损失函数并不是发散的,并且不具有发散的期望平衡。研究结果显示, GANs 不符合发散最小化理论,并且形成了比先前假设的模型更广泛的模型范围。
Sep, 2018