该研究介绍了一种与梯度下降上升（GDA）算法相结合的 “平滑” 方案，以解决非凸 - 凹最小 - 最大问题，此方案能够稳定振荡，并确保收敛到一个定值解。实验结果表明，平滑后的 GDA 算法对于 minimizing pointwise maximum of a finite collection of nonconvex functions 可以实现 O (1/ε^2) 的迭代复杂度，对于 general nonconvex-concave problems 可以实现 O (1/ε^4) 的迭代复杂度，并且将该算法扩展到多个区块的情况下。

Oct, 2020

研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

Feb, 2020

本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明 GDA 在本地条件数为 y 时的步长比至少需要为 θ（Kappa），并支持在随机 GDA 和额外梯度方法（EG）中的应用。

Jul, 2022

本文研究了非凸 - 凹极小化问题，采用了两种不同时间尺度的梯度下降升高算法来解决该问题，并得到了算法能够在有效的时间内找到函数的一个稳定点的结论，这种算法在训练生成敌对网络等实际应用中具有出色的实际表现。

Jun, 2019

本文研究交替梯度下降 - 上升算法在极小极大博弈中的应用，表明交替更新算法在多个场景下比同步算法更优，能够在强凸 - 强凹问题上达到几乎最优的局部收敛速率。同时，作者还介绍了一种全局性能相同的子类应用于极小极大博弈上的积分二次约束理论。实证结果表明，交替更新加速了生成对抗网络的训练，但仅在同步算法上使用乐观主义才有帮助。

Feb, 2021

提出了 DM-GDA 方法，使用动量法更新变量和估计随机梯度，并证明在非凸情况下找到具有稳定解的解决方案的梯度复杂度接近最优，可用于在网络上进行分布式的 Nonconvex-PL 随机极小化问题的优化。

Apr, 2023

梯度下降上升（GDA）算法用于解决极小极大优化问题，采用同时（Sim-GDA）或交替（Alt-GDA）的下降和上升步骤。我们对 Alt-GDA 和 Sim-GDA 进行了细致的收敛性分析，发现 Alt-GDA 的迭代复杂度上界严格小于 Sim-GDA 的下界，即 Alt-GDA 可证明更快速。此外，我们提出了交替外推 GDA（Alex-GDA），这是一个通用的算法框架，包含了 Sim-GDA 和 Alt-GDA，其主要思想是交替从迭代的外推中获得梯度，我们证明了 Alex-GDA 对于双线性问题具有线性收敛性，而 Sim-GDA 和 Alt-GDA 均无法收敛。

Feb, 2024

本文研究了一种更为广泛的两人博弈非凸强凹优化的收敛性，在 K-L 参数化几何全谱上，证明了 Proximal-GDA 算法的收敛速率是不同的，这是首个关于非凸极小极大优化变量收敛的理论结果。

Feb, 2021

本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

Oct, 2020

本研究提出了一种统一的单循环交替梯度投影 (AGP) 算法，用于解决光滑的非凸 -（强）凹和（强）凸 - 非凹的极小 - 最大化问题，同时扩展了 BAPG 算法。证明该方法可在不同设置下找到目标函数的 ε- 稳定点，且其梯度复杂度被限制在 O（ε^-2）或 O（ε^-4）内。

Jun, 2020