ICMLJan, 2018

生成对抗模型的组合功能梯度学习

PDF
TL;DR本文提出了一种不依赖于传统极小 - 极大公式的生成式对抗方法理论，并展示了当存在强的辨别器时，通过每个功能性梯度步骤，可以学到一个好的生成器，使得真实数据和生成数据的分布的 KL 散度改善，直到收敛于零，并基于该理论，提出了一种新的稳定的生成式对抗方法，同时提供了从这个新的视角对原始 GAN 的理论洞见，最终，针对图像生成的实验展示了我们的新方法的有效性。
generative adversarial methodskl divergencestablediscriminatorimage generation
发现论文，激发创造
  • 生成对抗学习的逼近与收敛特性

    本文研究了生成对抗网络在逼近目标分布时的两个基本问题：限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念，证明了使用受限制的鉴别器家族具有矩匹配效应，并且对于严格对抗性分歧的目标函数，证明了目标函数上的收敛蕴含着弱收敛。

    May, 2017

  • 生成对抗网络：超越散度最小化

    本研究讨论了与 G（生成器）相关的大多数损失函数的属性，表明这些损失函数并不是发散的，并且不具有发散的期望平衡。研究结果显示， GANs 不符合发散最小化理论，并且形成了比先前假设的模型更广泛的模型范围。

    Sep, 2018

  • 用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

    研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

    May, 2023

  • 受限制的 f-GANs 的归纳偏差

    本文对生成对抗网络（GAN）进行了分析，特别是统计推理这一过程的理论特征，提出了一种简单形式的 GAN，称为受限 f-GANs，发现线性 KL-GANs 的最优生成器所推断出的分布是最大似然与矩法解的有趣组合。

    Sep, 2018

  • 通过原始 - 对偶次梯度方法训练生成对抗网络：从拉格朗日视角看 GAN

    本研究将生成式对抗网络的 minimax 博弈与一个凸优化问题中的 Lagrangian 函数的鞍点联系起来，并展示了标准 GAN 训练过程和凸优化的原始 - 对偶次梯度方法之间的联系。此外，本研究提出了一种新的目标函数来训练模型，以解决模式塌陷和生成多样化的问题。实验结果显示了该方法的有效性。

    Feb, 2018

  • GAN 的凸对偶框架

    本文介绍了一种用于分析生成对抗网络的凸对偶框架，提出在约束条件为凸集时，通过最小化生成模型与经过判别器的数据分布匹配但是被期望的矩所限制的分布的 JS 散度，来得到生成模型。同时，将此框架应用于 f-GAN 和 Wasserstein GAN 网络，提出了一种新的混合 JS 散度和 Wasserstein 距离的分布度量用于正则化中。

    Oct, 2018

  • Gradient Layer: 增强生成模型对抗训练的收敛

    本文提出了在生成对抗网络训练中，通过引入梯度层来寻找无限维空间中的下降方向，以克服深模型训练中局部最优问题，从而获得更快更好的收敛性能以及更强的表达能力。

    Jan, 2018

  • 概率生成对抗网络

    本篇文章介绍了基于概率生成对抗网络 (PGAN) 的新型 GAN 变体， 它将概率模型 (在本例中是高斯混合模型) 整合到 GAN 框架中，从而支持一种新的损失函数，并提供一种有意义的衡量网络生成输出质量的方法，实验证明 MNIST 数据集的 PGAN 能够生成逼真的图像并计算出与生成图像质量相关的似然度，同时 PGAN 在处理 GAN 训练过程中通常存在的稳定性问题方面具有更好的性能。

    Aug, 2017

  • 基于在线学习的生成对抗网络方法

    本研究提出了一种名为 Chekhov GAN 1 的训练方法，将 GAN 的训练问题视为在零和博弈中找到一种混合策略，结合在线学习的思想，理论和实践证明了该方法收敛于半浅 GAN 体系结构，提高了稳定性和性能。

    Jun, 2017

  • 双判别器生成对抗网络

    本文提出了一种名为双判别器生成对抗网络（D2GAN）的生成对抗网络算法，该算法使用 KL 散度和反 KL 散度，避免了多峰性分布的崩塌问题，并在广泛的实验中证明了与最新 GAN 算法相比的竞争和卓越性能。

    Sep, 2017