Fisher GAN
本文探讨了基于积分概率度量的生成式对抗网络在半监督学习中的性能,研究表明,对判别器结构的设计能够提高性能,尤其避免使用批归一化和梯度惩罚限制等方法能够提高模型性能。
Dec, 2017
本文提出了一种基于变分分析的生成对抗网络(GAN)的统一方法,讨论了在 $f$-divergence-minimizing GANs 和 IPM GANs 中的最优生成器,展示了基于分数匹配和流匹配的训练方法,以及判别器引导 Langevin 采样方法。
Jun, 2023
GANs 的统计一致性研究:通过导出有限样本集中不等式,扩展了 $(f,\Gamma)$-GANs 理论的适用领域,同时在适当的极限情况下,与基于积分概率度量的 GANs 结果相符,并展现出在多个应用中提供提升性能的能力。
Jun, 2024
本文研究了生成对抗网络(GAN)如何从有限样本中学习概率分布,得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率,并证明了当网络结构适当选择时,GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布,我们展示了 GAN 的学习速率不取决于高环境维度,而取决于较低的内在维度。我们的分析基于一种新的神谕不等式,将估计误差分解为生成器和鉴别器逼近误差和统计误差,这可能是具有独立研究价值的。
May, 2021
本文提出了一个新的在分布之间比较均值差异的积分概率度量(Integral Probability Metric,简称 IPM):Sobolev IPM。Sobolev IPM 可以被看作是高维分布的一维 Von-Mises Cramér 统计量的扩展,并且可以用于训练生成式对抗网络(Generative Adversarial Networks,简称 GAN)。同时本文展示了 Sobolev GAN 能够在 CIFAR-10 半监督学习中取得出色的结果。
Nov, 2017
本文介绍了一种新的基于积分概率度量的生成对抗网络 (IPMs) 用于训练 GAN 的方法,该方法基于有限维特征空间中嵌入的分布的统计数据,其中的平均值和协方差匹配特征,这样的 IPMs 可实现稳定的 GAN 训练,我们称之为 McGan,并最小化所讨论的分布之间的有意义的损失
Feb, 2017
提出了一种比传统的 WGAN 更好的 GAN 训练方法,使用正则化替代权重截取,通过惩罚评判器对其输入梯度的范数,可以实现各种 GAN 结构的稳定训练和高质量生成。
Mar, 2017
本文研究发现,通过针对特定生成器选择具有强鉴别能力的鉴别器以学习 Wasserstein 距离下(或者在很多情况下是 KL 散度下)的分布,一定能以多项式复杂度学习,从而解决了 GANs 过于简单导致模式严重缺失的问题。
Jun, 2018
本研究提出了基于贝叶斯公式的 GAN 模型,通过使用随机梯度哈密顿蒙特卡罗方法边缘化生成器和鉴别器网络的权重,在不需要特征匹配或使用小批量区分等标准干预的情况下,实现半监督和无监督的学习效果,避免了模式崩塌的问题,并在多个基准数据集上取得了最佳性能。
May, 2017
本文对生成对抗网络(GAN)进行了分析,特别是统计推理这一过程的理论特征,提出了一种简单形式的 GAN,称为受限 f-GANs,发现线性 KL-GANs 的最优生成器所推断出的分布是最大似然与矩法解的有趣组合。
Sep, 2018