Dec, 2018

在 Polyak-Łojasiewicz 条件下解决非凸非凹 Min-Max 博弈

PDF
TL;DR本文研究求解一个 min-max 零和游戏的问题，在非凸非凹的情况下证明了一种简单的多步梯度下降 - 上升算法可以找到该问题的一个 epsilon - 一阶稳定点，其中一个玩家的目标满足 Polyak-Lojasiewicz 条件。
min-max zero-sum gameconvex-concave regimepolyak-lojasiewicz conditionmulti-step gradient descent-ascent algorithmfirst order stationary point
发现论文，激发创造
  • 使用迭代一阶方法解决一类非凸极小极大博弈

    利用多阶梯度下降上升算法解决机器学习中非凸场景下最小最大鞍点问题，给出了基于 Polyak-Lojasiewicz 条件的算法和 Concave 最大玩家目标函数的算法，并在 Fashion-MNIST 数据集上进行公平分类实验。

    Feb, 2019

  • 非凸 - 凹平滑极小极大问题的一阶纳什均衡高效搜索

    本文提出了一种有效的算法，通过在原函数上执行近似的近端点迭代，并利用 Nesterov 算法在正则化函数上运行不精确的神谕来找到关于站点准则的（εx，εy）第一阶纳什均衡，其中目标函数在两个变量中都是平滑的，对 y 是凸的；集合 X 和 Y 都是凸集和 “投影友好型” 的，Y 是紧凑的。

    Feb, 2020

  • 一类非凸非凹极小极大问题的固定时间收敛

    本文提出了一种基于固定时间的收敛鞍点动力系统，用于在标准凸凹性假设的放松下解决极小极大问题。

    Jul, 2022

  • 交替近端梯度步骤用于（随机）非凸 - 凹极小极大问题

    本文针对非凸凹的情况，在最小极大问题中应用交替梯度下降方法找到临界点并证明了一种新的全局收敛速率。

    Jul, 2020

  • 去中心化随机极小极大优化算法是否能以线性收敛于有限和的非凸非凹问题？

    本文针对分布式算法模型中面临的发散问题，提出了两种基于随机梯度下降的算法，并证明了其具有良好的收敛性能，这是首个针对分布式情况下的凸 - 非凸问题的线性收敛性的成果。

    Apr, 2023

  • 弱凸弱凹极大极小问题的一阶收敛理论

    本研究考虑了一类非凸非凹极值问题的一阶收敛理论和算法，它在机器学习中有广泛的应用，包括训练生成式对抗网络（GAN）。我们提出了一种算法框架，通过解决一系列强单调变分不等式，证明了所提出的方法的一阶收敛性和收敛率，并在 GAN 的训练中证明了所提出的算法的有效性。

    Oct, 2018

  • 梯度和近端梯度法在 Polyak-Łojasiewicz 条件下的线性收敛

    介绍了一种不需要强凸性条件的梯度下降算法，并针对机器学习中的各种问题提供了新的分析方法和收敛证明。

    Aug, 2016

  • 非凸强凹极小 - 极大优化的复杂性

    本文研究非凸强凹（NC-SC）平滑极小值问题的近似稳定点的复杂度，在一般和平均平滑有限和设置中建立了非平凡的较低复杂度下界。我们提出了一种通用的加速方案，使用现有的基于梯度的方法来解决一系列的精心制作的强凸 - 强凹子问题，进而缩小了复杂度差距，尤其是在一般情况下，我们提出的算法的复杂度几乎与下界相当。

    Mar, 2021

  • 极小极大优化的近似最优算法

    本文提出了一种基于加速的近端点方法和最小值近端步求解器的算法，其梯度复杂度为 O（kappa_x kappa_y^0.5），匹配了已有的最优下界，可用于解决强凸强凹、凸凹、非凸强凹和非凸凹函数的问题。

    Feb, 2020

  • 结构化非凸 - 非凹二次规划的高效优化方法

    通过提出一种新的结构化非凸 - 非凹 min-max 优化问题类，引入了一个泛化的外推方法，该方法证明收敛到一个稳定点。这种算法不仅适用于欧几里得空间，还适用于一般的 l p-norm 有限维实向量空间，同时对其在随机 oracle 条件下的稳定性和样本复杂度提供了边界。

    Oct, 2020