本次论文研究了使用后悔最小化的方式来训练GAN,提出了在非凸偏好游戏中存在不良局部均衡的假设,并提出了DRAGAN梯度惩罚方案以避免产生收缩现象,这样可以实现更快速的训练,更少的模式崩溃以及更好的建模性能。
May, 2017
本文提出一种基于二次尺度更新规则的GAN训练方法,使用随机逼近理论证明其可以收敛于本地Nash均衡点,并且在图像生成方面的表现优于传统GAN算法,同时提出了一种新的用于评估GAN生成图像质量的指标Fr\'echet Inception Distance。
Jun, 2017
通过将生成对抗网络明确建模为混合策略有限博弈,该论文提出了一种资源有限Nash均衡解决方案,可通过增加计算资源找到更好的解决方案,证明了该方法比GAN和MGAN产生的解决方案不易被操纵,且与理论预测的NEs非常相似。
Jun, 2018
本文分析了基于动量的梯度下降法在线性游戏中的应用,证明交替更新比同时更新更加稳定。同时,理论和实验都表明带有负动量项的交替梯度下降法能够实现在困难的攻击问题和难以训练的 saturating GANs 中的收敛。
Jul, 2018
通过对变分不等式框架的分析,我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中,直接梯度下降方向会导致不收敛,而特定的正交方向可以实现收敛,我们称之为“通过卷曲”,这是命名来源于其数学推导及感性:识别游戏的旋转轴并向“卷曲”更小的方向移动空间。
Aug, 2018
本研究讨论了与 G(生成器)相关的大多数损失函数的属性,表明这些损失函数并不是发散的,并且不具有发散的期望平衡。研究结果显示, GANs 不符合发散最小化理论,并且形成了比先前假设的模型更广泛的模型范围。
Sep, 2018
通过无限维二人博弈的新算法框架,我们证明了混合Nash Equilibria上的收敛性率,最终通过简单取样程序实现了高效的算法,证明了其在速度和质量上的优越表现。
Oct, 2018
本研究通过新的可视化技术研究了GAN优化景观,并从理论和实践的角度对GAN的训练进行了实证研究,发现GAN在训练过程中会显著旋转,并最终收敛于一个稳定的马鞍点而非最小值。
Jun, 2019
本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题,提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点,称为近端训练, 并进行了数值实验。
Feb, 2020
基于生成对抗网络和类概率估计,本研究探讨了在训练和推广误差方面的估计和界限,并引入了双目标生成对抗网络来处理训练的不稳定性问题。
Oct, 2023