Nov, 2018

Stackelberg GAN：通过多生成器结构实现可证明的极小极大均衡

PDF
TL;DR通过新的架构设计，我们通过多种生成器体系结构缓解了 GAN 训练中的不稳定性问题，并通过 Shapley-Folkman 引理的新应用提出了一种新的 Stackelberg GAN，优于以前的多生成器 GAN，在基准数据集上比以前的方法提高了 14.61% 的 Fréchet Inception 距离。
ganarchitecture designmulti-generatorshapley-folkman lemmastackelberg gan
发现论文，激发创造
  • GANs 可能没有纳什均衡

    本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题，提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点，称为近端训练， 并进行了数值实验。

    Feb, 2020

  • 随机梯度下降法在极小极大问题中的稳定性和泛化性

    通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

    May, 2021

  • 极小 - 极大算法在黎曼流形上收敛于可微平衡点

    通过普遍基于谱分析的方法，对 Riemann 流形上的零和可微博弈问题推广了可微 Steckelberg 平衡和可微 Nash 平衡，并给出了算法局部收敛的充分条件。这些算法通过引入随机梯度来扩展，并应用于训练 Wasserstein GAN 模型，从而提高 GAN 模型的性能。

    May, 2024

  • 一种收敛且与维度无关的极小 - 极大优化算法

    研究了一种新型的 min-max 优化框架，其中 max-player 在贪心策略下更新参数至一阶稳定点；给出了在平稳性要求下的定理证明，提出了一种利用随机梯度估计的 GAN 训练算法，成功地避免了模式崩溃的问题。

    Jun, 2020

  • 基于在线学习的生成对抗网络方法

    本研究提出了一种名为 Chekhov GAN 1 的训练方法，将 GAN 的训练问题视为在零和博弈中找到一种混合策略，结合在线学习的思想，理论和实践证明了该方法收敛于半浅 GAN 体系结构，提高了稳定性和性能。

    Jun, 2017

  • 多生成器生成对抗网络

    本文提出了一种名为 Mixture GAN （MGAN）的新方法，该方法采用多个生成器的混合训练，旨在克服 mode collapsing 问题，通过理论分析得出结论，证明了在平衡状态下，多个生成器的分布和数据分布之间的 Jensen-Shannon 差异最小，生成器之间的 Jensen-Shannon 差异最大，从而有效地避免了 mode collapsing 问题，能够在多项实验中取得明显的优势。

    Aug, 2017

  • 基于乐观和锚定的随机梯度方法在极小极大问题上的 ODE 分析

    本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的 simGD 算法和新的 anchored simGD 算法。

    May, 2019

  • 同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

    本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

    Oct, 2020

  • 生成对抗模型的组合功能梯度学习

    本文提出了一种不依赖于传统极小 - 极大公式的生成式对抗方法理论，并展示了当存在强的辨别器时，通过每个功能性梯度步骤，可以学到一个好的生成器，使得真实数据和生成数据的分布的 KL 散度改善，直到收敛于零，并基于该理论，提出了一种新的稳定的生成式对抗方法，同时提供了从这个新的视角对原始 GAN 的理论洞见，最终，针对图像生成的实验展示了我们的新方法的有效性。

    Jan, 2018

  • 寻找生成对抗网络的混合纳什均衡

    通过无限维二人博弈的新算法框架，我们证明了混合 Nash Equilibria 上的收敛性率，最终通过简单取样程序实现了高效的算法，证明了其在速度和质量上的优越表现。

    Oct, 2018