Jun, 2017

通过双时间尺度更新规则训练的 GAN 收敛于局部纳什均衡

PDF
TL;DR本文提出一种基于二次尺度更新规则的 GAN 训练方法，使用随机逼近理论证明其可以收敛于本地 Nash 均衡点，并且在图像生成方面的表现优于传统 GAN 算法，同时提出了一种新的用于评估 GAN 生成图像质量的指标 Fr\'echet Inception Distance。
generative adversarial networkstwo time-scale update rulestochastic approximationfr\'echet inception distancegan training
发现论文，激发创造
  • 生成对抗网络中的泛化和均衡

    通过对生成对抗网络的训练，我们发现它可能没有良好的泛化特性，并且展示了训练成功不代表训练的分布接近目标分布，但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时，鉴别器 / 生成器博弈存在近似的纯平衡，这启发了 MIX+GAN 协议的存在可以与任何现有的 GAN 训练相结合，并在实践中改善了其中一些。

    Mar, 2017

  • 虚构 GAN：使用历史模型训练 GANs

    通过博弈论视角，使用历史混合模型对深度神经网络进行训练的 Fictitious GAN 方法可以有效地解决收敛问题，从而使生成器的输出分布在渐进意义下收敛于数据样本的分布。

    Mar, 2018

  • 用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

    研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

    May, 2023

  • 基于随机决策规则的生成对抗网络的新范式

    本文提出了一种新的基于随机化决策规则的 GAN 公式，其中鉴别者收敛于一个固定点，而生成器则收敛于 Nash 均衡下的分布，通过随机梯度 Markov 链蒙特卡罗算法以及相应的模拟方法，得到了一种有效的支撑算法。

    Jun, 2023

  • 什麼訓練方法對於 GAN 的收斂效果最佳？

    本文针对 GAN 训练中绝对连续数据和生成器分布的本地收敛性已经得到证明的观点，进一步阐述了绝对连续性要求的必要性。作者证明了非绝对连续分布情况下，不稳定的 GAN 训练不一定收敛，提出了各种正则化策略用于稳定 GAN 训练，并对处于低维流形上的普通 GAN 进行了更一般的收敛性分析。

    Jan, 2018

  • 生成对抗网络（GANs）的收敛问题

    本文旨在为数学家提供适用的 GANs 理论解释，概述 GANs 的训练问题和拓扑学和博弈论视角如何贡献于我们理解和实践 GANs 的技术的正面和反面结果。

    Jun, 2018

  • 一阶生成对抗网络

    通过引入理论框架，提出一种新的离散度量，使得生成对抗网能够做到更新方向为最陡下降方向，从而在图像生成和语言生成领域取得了最新的研究成果。

    Feb, 2018

  • 淬炼对抗网络

    通过引入一种简单的方法，使真实数据分布经过一个‘透镜’传达给辨别器，让生成器逐步揭示出更多细节特征，改善了 GAN 训练的质量、稳定性和收敛速度，对各种 GAN 架构如 DCGAN、LSGAN、WGAN-GP 都可行。

    Feb, 2018

  • GANs 可能没有纳什均衡

    本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题，提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点，称为近端训练， 并进行了数值实验。

    Feb, 2020

  • 对抗网络的超越局部纳什均衡

    通过将生成对抗网络明确建模为混合策略有限博弈，该论文提出了一种资源有限 Nash 均衡解决方案，可通过增加计算资源找到更好的解决方案，证明了该方法比 GAN 和 MGAN 产生的解决方案不易被操纵，且与理论预测的 NEs 非常相似。

    Jun, 2018