研究零阶算法求解非凸最小最大问题在确定性和随机设置下的紧密线性约束，为确定性和随机设置下求解非凸凹最小最大问题提出两种单环算法，即零阶原始 -- 对偶交替投影梯度（ZO-PDAPG）算法和零阶正则化动量原始 -- 对偶投影梯度算法（ZO-RMPDPG），其迭代复杂度被证明为 Ο(ε^(-2))（非凸凹最小最大问题）和 Ο(ε^(-4))（非凸凹最小最大问题），在确定性设置下，持有 ε- 稳定点，并且在随机设置下，迭代复杂度分别为 Ο̃(ε^(-3)) 和 Ο̃(ε^(-6.5))。据我们所知，它们是第一个能够解决确定性和随机设置下的非凸凹最小最大问题的零阶算法，并具有迭代复杂度保证。

Jan, 2024

本文针对非凸凹的情况，在最小极大问题中应用交替梯度下降方法找到临界点并证明了一种新的全局收敛速率。

Jul, 2020

该研究介绍了一种与梯度下降上升（GDA）算法相结合的 “平滑” 方案，以解决非凸 - 凹最小 - 最大问题，此方案能够稳定振荡，并确保收敛到一个定值解。实验结果表明，平滑后的 GDA 算法对于 minimizing pointwise maximum of a finite collection of nonconvex functions 可以实现 O (1/ε^2) 的迭代复杂度，对于 general nonconvex-concave problems 可以实现 O (1/ε^4) 的迭代复杂度，并且将该算法扩展到多个区块的情况下。

Oct, 2020

本文研究了使用交替 GDA 和平滑 GDA 算法解决纳什均衡问题的收敛速度，证明了在满足 Polyak-Lojasiewicz 条件时，这两种算法分别需要 O (κ²ε⁻²) 和 O (κε⁻²) 次迭代即可找到 ε- 极小点，而在类似条件下，这是目前最佳的单循环算法复杂度结果。实验证明这些算法在生成对抗网络训练和非线性回归中具有较高的效率。

Dec, 2021

研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

Feb, 2020

本文研究解决平滑最小最大优化问题的一阶方法，其中 g (x,y) 是平滑的且 g (x,・) 对于每个 x 均为凹性。对于 g (・，y)，我们考虑两种情况 —— 强凸性和非凸性 —— 并在两种情况下改进了已知最佳速率。

Jul, 2019

在非凸优化问题中，本文研究了加速近端梯度法 (APGnc) 以及基于其的随机方差减少 (APGnc) 算法，证明了其所生成的序列的极限点是目标函数的临界点，并通过 KL 函数的性质获得了线性和次线性的收敛速率。

May, 2017

本文提出了一种基于加速的近端点方法和最小值近端步求解器的算法，其梯度复杂度为 O（kappa_x kappa_y^0.5），匹配了已有的最优下界，可用于解决强凸强凹、凸凹、非凸强凹和非凸凹函数的问题。

Feb, 2020

该论文将 Nesterov 的加速梯度方法推广到非凸和可能的随机优化问题中，证明该方法可以最优地解决一般的非凸光滑优化问题，并可应用于重要类的复合优化问题和非凸随机优化问题，是文献中第一次确立了 AG 方法解决非凸非线性规划的收敛性。

Oct, 2013

本文研究了非凸 - 凹极小化问题，采用了两种不同时间尺度的梯度下降升高算法来解决该问题，并得到了算法能够在有效的时间内找到函数的一个稳定点的结论，这种算法在训练生成敌对网络等实际应用中具有出色的实际表现。

Jun, 2019