梯度下降上升（GDA）算法用于解决极小极大优化问题，采用同时（Sim-GDA）或交替（Alt-GDA）的下降和上升步骤。我们对 Alt-GDA 和 Sim-GDA 进行了细致的收敛性分析，发现 Alt-GDA 的迭代复杂度上界严格小于 Sim-GDA 的下界，即 Alt-GDA 可证明更快速。此外，我们提出了交替外推 GDA（Alex-GDA），这是一个通用的算法框架，包含了 Sim-GDA 和 Alt-GDA，其主要思想是交替从迭代的外推中获得梯度，我们证明了 Alex-GDA 对于双线性问题具有线性收敛性，而 Sim-GDA 和 Alt-GDA 均无法收敛。

Feb, 2024

本文研究了使用交替 GDA 和平滑 GDA 算法解决纳什均衡问题的收敛速度，证明了在满足 Polyak-Lojasiewicz 条件时，这两种算法分别需要 O (κ²ε⁻²) 和 O (κε⁻²) 次迭代即可找到 ε- 极小点，而在类似条件下，这是目前最佳的单循环算法复杂度结果。实验证明这些算法在生成对抗网络训练和非线性回归中具有较高的效率。

Dec, 2021

本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明 GDA 在本地条件数为 y 时的步长比至少需要为 θ（Kappa），并支持在随机 GDA 和额外梯度方法（EG）中的应用。

Jul, 2022

提出了一个新的极小极大优化框架 GDA-AM，利用 Anderson 混合算法加速 GDA 收敛，解决了同时使用 GDA 时出现的发散问题，并以理论和实验的方式证明该算法在较温和的条件下可以实现二次问题的全局收敛，并改进了 GAN 训练。

Oct, 2021

研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

Feb, 2020

梯度下降和上升（GDA）法用于最小 - 最大优化问题时，通常会产生振荡行为，容易导致不稳定性，为解决这一问题，本文提出了一种通过引入耗散项来抑制振荡的方法，称为 Dissipative GDA (DGDA)，DGDA 方法可以看作是在一个状态增广和规则化的鞍点函数上执行标准 GDA，该方法在双线性和强凸 - 强凹设置中具有线性收敛性，并通过与其他方法（如 GDA、Extra-Gradient，以及 Optimistic GDA）的比较来评估其性能，实验结果表明 DGDA 超过了这些方法，实现了更好的收敛速度，通过两个数值例子展示了 DGDA 方法在求解鞍点问题中的有效性。

Mar, 2024

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

Feb, 2021

本文研究了非凸 - 凹极小化问题，采用了两种不同时间尺度的梯度下降升高算法来解决该问题，并得到了算法能够在有效的时间内找到函数的一个稳定点的结论，这种算法在训练生成敌对网络等实际应用中具有出色的实际表现。

Jun, 2019

本文研究了一种更为广泛的两人博弈非凸强凹优化的收敛性，在 K-L 参数化几何全谱上，证明了 Proximal-GDA 算法的收敛速率是不同的，这是首个关于非凸极小极大优化变量收敛的理论结果。

Feb, 2021

本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

Oct, 2020