研究第一阶段方法在极小极大问题中的收敛属性，证明了基本的GD和OGD方法可以避免不稳定的临界点，并在初始状态下几乎所有的点都是OGDA稳定的临界点，而OGDA稳定的临界点集合是包含GDA稳定的临界点的超集，这些动态的行为可以从动态系统的角度进行研究。

Jul, 2018

通过对变分不等式框架的分析，我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中，直接梯度下降方向会导致不收敛，而特定的正交方向可以实现收敛，我们称之为“通过卷曲”，这是命名来源于其数学推导及感性：识别游戏的旋转轴并向“卷曲”更小的方向移动空间。

Aug, 2018

该研究论文阐述了针对非凸函数最优化问题中的后向迭代收敛的挑战性，介绍了哈密顿梯度下降算法以及协作优化算法，并证明了这些算法在某些情况下表现出线性收敛性。

Jun, 2019

本文旨在从理论和实证角度分析适应性梯度算法在解决非凸非凹极小极大问题中的性能，并提出了一种名为乐观阿达格勒的自适应变体算法，证明了非凸非凹极小极大优化的自适应复杂性，并在生成对抗网络培训中显示出优越性能。

Dec, 2019

本文研究交替梯度下降-上升算法在极小极大博弈中的应用，表明交替更新算法在多个场景下比同步算法更优，能够在强凸-强凹问题上达到几乎最优的局部收敛速率。同时，作者还介绍了一种全局性能相同的子类应用于极小极大博弈上的积分二次约束理论。实证结果表明，交替更新加速了生成对抗网络的训练，但仅在同步算法上使用乐观主义才有帮助。

Feb, 2021

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

Feb, 2021

通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

May, 2021

本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明GDA在本地条件数为y时的步长比至少需要为θ（Kappa），并支持在随机GDA和额外梯度方法（EG）中的应用。

Jul, 2022

研究了使用基于核的判别器训练生成式对抗网络的梯度下降-上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

May, 2023

通过引入和分析一种名为Diffusion Stochastic Same-Sample Optimistic Gradient (DSS-OG)的新形式，我们解决了传统随机版本需要较大批次的问题，并在更一般的非凸Polyak-Lojasiewicz (PL)风险函数设置下，证明了它的收敛性和对大批次问题的更紧的上限，并将所提出的方法的适用性扩展到分布式场景。为了实现DSS-OG，我们可以通过一些额外的内存开销并行查询随机梯度的预言机，导致其复杂性与传统的方法相当。通过训练生成对抗网络的测试，我们展示了所提出算法的有效性。

Jan, 2024