May, 2019

基于乐观和锚定的随机梯度方法在极小极大问题上的 ODE 分析

PDF
TL;DR本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的 simGD 算法和新的 anchored simGD 算法。
发现论文，激发创造
  • 随机梯度下降法在极小极大问题中的稳定性和泛化性

    通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

    May, 2021

  • 生成对抗网络中自适应梯度算法的深入理解

    本文旨在从理论和实证角度分析适应性梯度算法在解决非凸非凹极小极大问题中的性能，并提出了一种名为乐观阿达格勒的自适应变体算法，证明了非凸非凹极小极大优化的自适应复杂性，并在生成对抗网络培训中显示出优越性能。

    Dec, 2019

  • 交替梯度下降上升法在极小极大优化中的近最优局部收敛

    本文研究交替梯度下降 - 上升算法在极小极大博弈中的应用，表明交替更新算法在多个场景下比同步算法更优，能够在强凸 - 强凹问题上达到几乎最优的局部收敛速率。同时，作者还介绍了一种全局性能相同的子类应用于极小极大博弈上的积分二次约束理论。实证结果表明，交替更新加速了生成对抗网络的训练，但仅在同步算法上使用乐观主义才有帮助。

    Feb, 2021

  • 最小最大问题的扩散随机优化

    通过引入和分析一种名为 Diffusion Stochastic Same-Sample Optimistic Gradient (DSS-OG) 的新形式，我们解决了传统随机版本需要较大批次的问题，并在更一般的非凸 Polyak-Lojasiewicz (PL) 风险函数设置下，证明了它的收敛性和对大批次问题的更紧的上限，并将所提出的方法的适用性扩展到分布式场景。为了实现 DSS-OG，我们可以通过一些额外的内存开销并行查询随机梯度的预言机，导致其复杂性与传统的方法相当。通过训练生成对抗网络的测试，我们展示了所提出算法的有效性。

    Jan, 2024

  • 无穷维空间下极小极大优化问题的收敛性及对抗性训练的稳定性

    通过对无监督领域适应和生成对抗网络进行功能分析，本研究理论上解决了激烈优化所带来的不稳定性问题，展示了梯度下降法在连续函数和概率测度的无穷维空间中对极小极大问题的收敛特性，并讨论了生成对抗网络和无监督领域适应的相关条件及稳定化技术。

    Dec, 2023

  • 极大极小优化的最终迭代收敛速率

    该研究论文阐述了针对非凸函数最优化问题中的后向迭代收敛的挑战性，介绍了哈密顿梯度下降算法以及协作优化算法，并证明了这些算法在某些情况下表现出线性收敛性。

    Jun, 2019

  • 同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

    本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

    Oct, 2020

  • 局部随机梯度下降上升：收敛分析与通信效率

    本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

    Feb, 2021

  • 交替近端梯度步骤用于（随机）非凸 - 凹极小极大问题

    本文针对非凸凹的情况，在最小极大问题中应用交替梯度下降方法找到临界点并证明了一种新的全局收敛速率。

    Jul, 2020

  • GDA-AM: 通过 Anderson 加速解决极小极大优化问题的有效性研究

    提出了一个新的极小极大优化框架 GDA-AM，利用 Anderson 混合算法加速 GDA 收敛，解决了同时使用 GDA 时出现的发散问题，并以理论和实验的方式证明该算法在较温和的条件下可以实现二次问题的全局收敛，并改进了 GAN 训练。

    Oct, 2021