GANs可能没有纳什均衡
通过对生成对抗网络的训练,我们发现它可能没有良好的泛化特性,并且展示了训练成功不代表训练的分布接近目标分布,但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时,鉴别器/生成器博弈存在近似的纯平衡,这启发了MIX+GAN协议的存在可以与任何现有的GAN训练相结合,并在实践中改善了其中一些。
Mar, 2017
本文提出一种基于二次尺度更新规则的GAN训练方法,使用随机逼近理论证明其可以收敛于本地Nash均衡点,并且在图像生成方面的表现优于传统GAN算法,同时提出了一种新的用于评估GAN生成图像质量的指标Fr\'echet Inception Distance。
Jun, 2017
本文提出了一个简单统一、非渐进的本地收敛理论,涵盖了多个离散时间梯度基点动力学,分析表明,离对角线的相互作用项具有神奇的性质,既是一件好事,也是一件坏事,对网络训练进行了四个修正动态的稳定化,揭示了这些稳定技术之间的密切联系,并提供了有关学习率选择的详细特征描述。
Feb, 2018
通过将生成对抗网络明确建模为混合策略有限博弈,该论文提出了一种资源有限Nash均衡解决方案,可通过增加计算资源找到更好的解决方案,证明了该方法比GAN和MGAN产生的解决方案不易被操纵,且与理论预测的NEs非常相似。
Jun, 2018
本文分析了基于动量的梯度下降法在线性游戏中的应用,证明交替更新比同时更新更加稳定。同时,理论和实验都表明带有负动量项的交替梯度下降法能够实现在困难的攻击问题和难以训练的 saturating GANs 中的收敛。
Jul, 2018
通过对变分不等式框架的分析,我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中,直接梯度下降方向会导致不收敛,而特定的正交方向可以实现收敛,我们称之为“通过卷曲”,这是命名来源于其数学推导及感性:识别游戏的旋转轴并向“卷曲”更小的方向移动空间。
Aug, 2018
通过无限维二人博弈的新算法框架,我们证明了混合Nash Equilibria上的收敛性率,最终通过简单取样程序实现了高效的算法,证明了其在速度和质量上的优越表现。
Oct, 2018
本文提出了一种名为local symplectic surgery的算法,用于在二人零和博弈中寻找局部纳什均衡,并在两个数值案例中验证其有效性。
Jan, 2019
本研究通过新的可视化技术研究了GAN优化景观,并从理论和实践的角度对GAN的训练进行了实证研究,发现GAN在训练过程中会显著旋转,并最终收敛于一个稳定的马鞍点而非最小值。
Jun, 2019