Dec, 2023

无穷维空间下极小极大优化问题的收敛性及对抗性训练的稳定性

PDF
TL;DR通过对无监督领域适应和生成对抗网络进行功能分析，本研究理论上解决了激烈优化所带来的不稳定性问题，展示了梯度下降法在连续函数和概率测度的无穷维空间中对极小极大问题的收敛特性，并讨论了生成对抗网络和无监督领域适应的相关条件及稳定化技术。
adversarial optimizationgenerative adversarial networksunsupervised domain adaptationsinstabilityminimax optimization
发现论文，激发创造
  • 随机梯度下降法在极小极大问题中的稳定性和泛化性

    通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

    May, 2021

  • 用于训练生成对抗网络的梯度下降 - 上升的本地收敛性

    研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

    May, 2023

  • 同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

    本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

    Oct, 2020

  • 基于乐观和锚定的随机梯度方法在极小极大问题上的 ODE 分析

    本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的 simGD 算法和新的 anchored simGD 算法。

    May, 2019

  • GAN 的平滑性和稳定性

    本文提出了一种理论框架，可以理解各种类型的生成对抗网络（GANs）的稳定性，并采用凸分析、最优传输和再现核等工具构建了一种可以同时满足这些条件的 GAN，解释并澄清了现有 GAN 稳定技术的必要性。

    Feb, 2020

  • 梯度下降 GAN 优化局部稳定

    本文分析了生成对抗网络（GANs）的优化问题，通过引入正则化方法提高训练速度和稳定性，并对经典 GAN 和 Wasserstein GAN 优化过程的局部渐近稳定性进行了研究。

    Jun, 2017

  • 梯度下降上升的收敛性：一个严格的局部分析

    本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明 GDA 在本地条件数为 y 时的步长比至少需要为 θ（Kappa），并支持在随机 GDA 和额外梯度方法（EG）中的应用。

    Jul, 2022

  • GDA-AM: 通过 Anderson 加速解决极小极大优化问题的有效性研究

    提出了一个新的极小极大优化框架 GDA-AM，利用 Anderson 混合算法加速 GDA 收敛，解决了同时使用 GDA 时出现的发散问题，并以理论和实验的方式证明该算法在较温和的条件下可以实现二次问题的全局收敛，并改进了 GAN 训练。

    Oct, 2021

  • 一类非凸非凹极小极大问题的全局收敛与方差缩减优化

    研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

    Feb, 2020

  • 生成对抗模型的组合功能梯度学习

    本文提出了一种不依赖于传统极小 - 极大公式的生成式对抗方法理论，并展示了当存在强的辨别器时，通过每个功能性梯度步骤，可以学到一个好的生成器，使得真实数据和生成数据的分布的 KL 散度改善，直到收敛于零，并基于该理论，提出了一种新的稳定的生成式对抗方法，同时提供了从这个新的视角对原始 GAN 的理论洞见，最终，针对图像生成的实验展示了我们的新方法的有效性。

    Jan, 2018