Jul, 2018

极大极小优化问题中 (乐观) 梯度下降的极限点

PDF
TL;DR研究第一阶段方法在极小极大问题中的收敛属性，证明了基本的 GD 和 OGD 方法可以避免不稳定的临界点，并在初始状态下几乎所有的点都是 OGDA 稳定的临界点，而 OGDA 稳定的临界点集合是包含 GDA 稳定的临界点的超集，这些动态的行为可以从动态系统的角度进行研究。
first order methodsmin-max problemscritical pointslocal solutionsdynamical systems
发现论文，激发创造
  • 末次迭代收敛：零和博弈与约束极小极大优化

    本文研究了一种叫做 OMWU 的算法，该算法在约束的 min-max 最优化问题中表现出优秀的收敛性以及稳定性。该算法与先前的梯度下降法及其他学习算法不同，且需要使用新的技术和思路。

    Jul, 2018

  • 延迟下的极小极大优化

    本文旨在研究标准最小 - 最大优化算法的性能，特别是在出现延迟梯度更新时。研究结果表明，在合适的技术假设下，梯度下降 - 上升和延迟更新的额外梯度算法仍然保证收敛到凸 - 凹和强凸 - 强凹的鞍点。

    Jul, 2023

  • 耗散梯度递降上升法：一种受控制理论启发的极小极大优化算法

    梯度下降和上升（GDA）法用于最小 - 最大优化问题时，通常会产生振荡行为，容易导致不稳定性，为解决这一问题，本文提出了一种通过引入耗散项来抑制振荡的方法，称为 Dissipative GDA (DGDA)，DGDA 方法可以看作是在一个状态增广和规则化的鞍点函数上执行标准 GDA，该方法在双线性和强凸 - 强凹设置中具有线性收敛性，并通过与其他方法（如 GDA、Extra-Gradient，以及 Optimistic GDA）的比较来评估其性能，实验结果表明 DGDA 超过了这些方法，实现了更好的收敛速度，通过两个数值例子展示了 DGDA 方法在求解鞍点问题中的有效性。

    Mar, 2024

  • 梯度下降上升的收敛性：一个严格的局部分析

    本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明 GDA 在本地条件数为 y 时的步长比至少需要为 θ（Kappa），并支持在随机 GDA 和额外梯度方法（EG）中的应用。

    Jul, 2022

  • 交替梯度下降上升法在极小极大优化中的近最优局部收敛

    本文研究交替梯度下降 - 上升算法在极小极大博弈中的应用，表明交替更新算法在多个场景下比同步算法更优，能够在强凸 - 强凹问题上达到几乎最优的局部收敛速率。同时，作者还介绍了一种全局性能相同的子类应用于极小极大博弈上的积分二次约束理论。实证结果表明，交替更新加速了生成对抗网络的训练，但仅在同步算法上使用乐观主义才有帮助。

    Feb, 2021

  • 非凸 - 凹极小极大问题的梯度下降上升

    本文研究了非凸 - 凹极小化问题，采用了两种不同时间尺度的梯度下降升高算法来解决该问题，并得到了算法能够在有效的时间内找到函数的一个稳定点的结论，这种算法在训练生成敌对网络等实际应用中具有出色的实际表现。

    Jun, 2019

  • KŁ几何下的近端梯度下降 - 上升算法：可变收敛

    本文研究了一种更为广泛的两人博弈非凸强凹优化的收敛性，在 K-L 参数化几何全谱上，证明了 Proximal-GDA 算法的收敛速率是不同的，这是首个关于非凸极小极大优化变量收敛的理论结果。

    Feb, 2021

  • 同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

    本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

    Oct, 2020

  • 基于乐观和锚定的随机梯度方法在极小极大问题上的 ODE 分析

    本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的 simGD 算法和新的 anchored simGD 算法。

    May, 2019

  • 极大极小优化的最终迭代收敛速率

    该研究论文阐述了针对非凸函数最优化问题中的后向迭代收敛的挑战性，介绍了哈密顿梯度下降算法以及协作优化算法，并证明了这些算法在某些情况下表现出线性收敛性。

    Jun, 2019