生成对抗网络的收敛性和稳定性
本文提出了一个简单统一、非渐进的本地收敛理论,涵盖了多个离散时间梯度基点动力学,分析表明,离对角线的相互作用项具有神奇的性质,既是一件好事,也是一件坏事,对网络训练进行了四个修正动态的稳定化,揭示了这些稳定技术之间的密切联系,并提供了有关学习率选择的详细特征描述。
Feb, 2018
通过将生成对抗网络明确建模为混合策略有限博弈,该论文提出了一种资源有限Nash均衡解决方案,可通过增加计算资源找到更好的解决方案,证明了该方法比GAN和MGAN产生的解决方案不易被操纵,且与理论预测的NEs非常相似。
Jun, 2018
本文分析了基于动量的梯度下降法在线性游戏中的应用,证明交替更新比同时更新更加稳定。同时,理论和实验都表明带有负动量项的交替梯度下降法能够实现在困难的攻击问题和难以训练的 saturating GANs 中的收敛。
Jul, 2018
通过对变分不等式框架的分析,我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中,直接梯度下降方向会导致不收敛,而特定的正交方向可以实现收敛,我们称之为“通过卷曲”,这是命名来源于其数学推导及感性:识别游戏的旋转轴并向“卷曲”更小的方向移动空间。
Aug, 2018
通过无限维二人博弈的新算法框架,我们证明了混合Nash Equilibria上的收敛性率,最终通过简单取样程序实现了高效的算法,证明了其在速度和质量上的优越表现。
Oct, 2018
本文回顾了在博弈理论设置下,无监督或自监督神经网络玩极小化游戏的方法,包括基于AC的两个网络、GANs和PM,并更正了一项先前发表的PM不是基于极小化游戏的错误说法。
Jun, 2019
本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题,提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点,称为近端训练, 并进行了数值实验。
Feb, 2020
研究了一种新型的min-max优化框架,其中max-player在贪心策略下更新参数至一阶稳定点;给出了在平稳性要求下的定理证明,提出了一种利用随机梯度估计的GAN训练算法,成功地避免了模式崩溃的问题。
Jun, 2020