Gradient Layer: 增强生成模型对抗训练的收敛
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标函数上的收敛蕴含着弱收敛。
May, 2017
本研究提出了一种名为Chekhov GAN 1的训练方法,将GAN的训练问题视为在零和博弈中找到一种混合策略,结合在线学习的思想,理论和实践证明了该方法收敛于半浅GAN体系结构,提高了稳定性和性能。
Jun, 2017
本文提出了一种不依赖于传统极小-极大公式的生成式对抗方法理论,并展示了当存在强的辨别器时,通过每个功能性梯度步骤,可以学到一个好的生成器,使得真实数据和生成数据的分布的KL散度改善,直到收敛于零,并基于该理论,提出了一种新的稳定的生成式对抗方法,同时提供了从这个新的视角对原始GAN的理论洞见,最终,针对图像生成的实验展示了我们的新方法的有效性。
Jan, 2018
本研究将生成式对抗网络的minimax博弈与一个凸优化问题中的Lagrangian函数的鞍点联系起来,并展示了标准GAN训练过程和凸优化的原始 - 对偶次梯度方法之间的联系。此外,本研究提出了一种新的目标函数来训练模型,以解决模式塌陷和生成多样化的问题。实验结果显示了该方法的有效性。
Feb, 2018
本文综述了生成模型的最新应用——生成对抗网络(GAN)及其在计算机视觉和机器学习领域的实际应用,讨论了GAN训练中的困难和障碍,并调查了不同研究者提出的训练方案,以求实现GAN的稳定训练,最后探讨了与该主题相关的新问题和研究方向。
Jun, 2020
本文介绍了一种全可微分搜索框架alphaGAN,用于优化生成式对抗网络(GANs)的网络架构。实验表明,该算法可以在仅使用 3 GPU 小时的情况下有效地优化高性能结构,且搜索过程是一种双层极小极大优化问题,采用全可微分的方式。
Jun, 2020
研究了使用基于核的判别器训练生成式对抗网络的梯度下降-上升过程,通过线性化的非线性动态系统描述方法,探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响,提出了系统收敛、振荡和发散的阶段转换点,并通过数值模拟验证了结论。
May, 2023