交互很重要：关于生成对抗网络非渐进局部收敛性的注记

Feb, 2018

交互很重要：关于生成对抗网络非渐进局部收敛性的注记

Interaction Matters: A Note on Non-asymptotic Local Convergence of Generative Adversarial Networks

Tengyuan Liang, James Stokes

TL;DR本文提出了一个简单统一、非渐进的本地收敛理论，涵盖了多个离散时间梯度基点动力学，分析表明，离对角线的相互作用项具有神奇的性质，既是一件好事，也是一件坏事，对网络训练进行了四个修正动态的稳定化，揭示了这些稳定技术之间的密切联系，并提供了有关学习率选择的详细特征描述。

Abstract

Motivated by the pursuit of a systematic computational and algorithmic understanding of generative adversarial networks (GANs), we present a simple yet unified non-asymptotic local convergence theory for smooth t

发现论文，激发创造

梯度下降GAN优化局部稳定

本文分析了生成对抗网络（GANs）的优化问题，通过引入正则化方法提高训练速度和稳定性，并对经典GAN和Wasserstein GAN优化过程的局部渐近稳定性进行了研究。

Jun, 2017

通过双时间尺度更新规则训练的GAN收敛于局部纳什均衡

本文提出一种基于二次尺度更新规则的GAN训练方法，使用随机逼近理论证明其可以收敛于本地Nash均衡点，并且在图像生成方面的表现优于传统GAN算法，同时提出了一种新的用于评估GAN生成图像质量的指标Fr\'echet Inception Distance。

Jun, 2017

关于GAN动态中一阶逼近的限制

本文研究生成对抗网络中的学习动态，通过对简单但富有挑战性收敛行为(如梯度消失、模式崩溃、发散或振荡)的参数模型进行理论分析和实践研究，发现使用一阶判别器步骤是导致GAN训练具有挑战性的因素之一。

Jun, 2017

许多路径通向平衡：GANs不需要在每一步都减小差异

通过实证方法，发现GAN的训练不仅仅是最小化分布之间的散度，而是通过一些不必要的梯度来促进达到纳什均衡。

Oct, 2017

对抗网络的超越局部纳什均衡

通过将生成对抗网络明确建模为混合策略有限博弈，该论文提出了一种资源有限Nash均衡解决方案，可通过增加计算资源找到更好的解决方案，证明了该方法比GAN和MGAN产生的解决方案不易被操纵，且与理论预测的NEs非常相似。

Jun, 2018

提升游戏动力学的负动量

本文分析了基于动量的梯度下降法在线性游戏中的应用，证明交替更新比同时更新更加稳定。同时，理论和实验都表明带有负动量项的交替梯度下降法能够实现在困难的攻击问题和难以训练的 saturating GANs 中的收敛。

Jul, 2018

寻找生成对抗网络的混合纳什均衡

通过无限维二人博弈的新算法框架，我们证明了混合Nash Equilibria上的收敛性率，最终通过简单取样程序实现了高效的算法，证明了其在速度和质量上的优越表现。

Oct, 2018

生成对抗网络优化空间的深入探究

本研究通过新的可视化技术研究了GAN优化景观，并从理论和实践的角度对GAN的训练进行了实证研究，发现GAN在训练过程中会显著旋转，并最终收敛于一个稳定的马鞍点而非最小值。

Jun, 2019

GANs可能没有纳什均衡

本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题，提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点，称为近端训练，并进行了数值实验。

Feb, 2020

用于训练生成对抗网络的梯度下降-上升的本地收敛性

研究了使用基于核的判别器训练生成式对抗网络的梯度下降-上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

May, 2023