本文提出了一种适用于序列博弈机器学习应用的局部最优定义——局部 minmax， 并且提出了它的属性、存在结果以及与基本的局部搜索算法——梯度下降上升(GDA)的强相关性，即在温和条件下，GDA的所有稳定极限点都是局部 minmax 点，除了某些退化点。

Feb, 2019

本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的simGD算法和新的anchored simGD算法。

May, 2019

该研究论文阐述了针对非凸函数最优化问题中的后向迭代收敛的挑战性，介绍了哈密顿梯度下降算法以及协作优化算法，并证明了这些算法在某些情况下表现出线性收敛性。

Jun, 2019

本文研究了一类非凸非凹的极小极大博弈，应用于生成对抗网络中。作者从优化理论、博弈理论和动态系统的角度展开分析，证明了针对特定的问题实例，梯度下降升力动力学可能表现出多种不收敛至极小极大解的行为，包括周期性和波恩卡雷复发。

Oct, 2019

本文研究了最小-最大优化算法在非凸/non-concave问题中的表现，发现其极限点包含在共同的平均场系统的ICT集合中，其吸引子与算法相关，但存在不包含问题静止点的虚假吸引子，这可能导致算法收敛失败。

Jun, 2020

本文研究交替梯度下降-上升算法在极小极大博弈中的应用，表明交替更新算法在多个场景下比同步算法更优，能够在强凸-强凹问题上达到几乎最优的局部收敛速率。同时，作者还介绍了一种全局性能相同的子类应用于极小极大博弈上的积分二次约束理论。实证结果表明，交替更新加速了生成对抗网络的训练，但仅在同步算法上使用乐观主义才有帮助。

Feb, 2021

通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

May, 2021

本文研究了使用交替GDA和平滑GDA算法解决纳什均衡问题的收敛速度，证明了在满足 Polyak-Lojasiewicz 条件时，这两种算法分别需要 O(κ²ε⁻²) 和 O(κε⁻²) 次迭代即可找到 ε-极小点，而在类似条件下，这是目前最佳的单循环算法复杂度结果。实验证明这些算法在生成对抗网络训练和非线性回归中具有较高的效率。

Dec, 2021

本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明GDA在本地条件数为y时的步长比至少需要为θ（Kappa），并支持在随机GDA和额外梯度方法（EG）中的应用。

Jul, 2022

研究了使用基于核的判别器训练生成式对抗网络的梯度下降-上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

May, 2023