极值优化算法的局限性：收敛于虚假非关键集合
研究第一阶段方法在极小极大问题中的收敛属性，证明了基本的GD和OGD方法可以避免不稳定的临界点，并在初始状态下几乎所有的点都是OGDA稳定的临界点，而OGDA稳定的临界点集合是包含GDA稳定的临界点的超集，这些动态的行为可以从动态系统的角度进行研究。
Jul, 2018
本文研究了一类非凸的最小值最大值问题，其中目标函数在最小化变量上是弱凸的，在最大化变量上是凸的。针对不同的光滑和不光滑的实例，我们提出了近端引导随机次梯度方法和近端引导随机方差减少方法。同时，我们分析了所提出方法在找到最小值和最大值对应的几乎稳定点的时间复杂性。
Oct, 2018
该研究论文阐述了针对非凸函数最优化问题中的后向迭代收敛的挑战性，介绍了哈密顿梯度下降算法以及协作优化算法，并证明了这些算法在某些情况下表现出线性收敛性。
Jun, 2019
本文旨在从理论和实证角度分析适应性梯度算法在解决非凸非凹极小极大问题中的性能，并提出了一种名为乐观阿达格勒的自适应变体算法，证明了非凸非凹极小极大优化的自适应复杂性，并在生成对抗网络培训中显示出优越性能。
Dec, 2019
研究了一种新型的min-max优化框架，其中max-player在贪心策略下更新参数至一阶稳定点；给出了在平稳性要求下的定理证明，提出了一种利用随机梯度估计的GAN训练算法，成功地避免了模式崩溃的问题。
Jun, 2020
本文通过分析优化问题的计算复杂性，阐明了一系列非凸非凹目标函数的约束极值优化问题存在的困难，同时证明了该问题在Nemirovsky-Yudin模型中的难度，这与最小化问题在同样设置下可以使用Projected Gradient Descent进行近似局部最小值的行为形成了对比。
Sep, 2020
通过提出一种新的结构化非凸-非凹 min-max 优化问题类，引入了一个泛化的外推方法，该方法证明收敛到一个稳定点。这种算法不仅适用于欧几里得空间，还适用于一般的l p-norm有限维实向量空间，同时对其在随机oracle条件下的稳定性和样本复杂度提供了边界。
Oct, 2020
通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。
May, 2021
本研究针对非凸极小极大优化问题，提出了双时间尺度梯度下降上升算法（TTGDA），填补了现有方法在更一般场景下的收敛性缺口。通过理论分析，我们证明了该算法在平滑和非平滑非凸-凹优化问题上的复杂性界限，显示其在训练生成对抗网络（GANs）等实际应用中的优越性能。
Aug, 2024