AAAIJul, 2020

适应性梯度方法用于约束凸优化和变分不等式问题

PDF
TL;DR本文提出了 AdaACSA、AdaAGD + 等新的自适应一阶优化算法，以加速受限制的凸优化问题中的收敛速度，同时针对平滑和不平滑函数，实现几乎最优的收敛速率；同时，通过自动调整每个坐标学习率，这些算法不需要固定事先知道目标函数的参数化，是针对限制优化的真正加速 Adagrad 方法之一。此外，本文提出了适用于无限制优化和单调算子的自适应方法，并附有具体的算法实现。
发现论文，激发创造
  • 非凸非线性随机规划的加速梯度方法

    该论文将 Nesterov 的加速梯度方法推广到非凸和可能的随机优化问题中，证明该方法可以最优地解决一般的非凸光滑优化问题，并可应用于重要类的复合优化问题和非凸随机优化问题，是文献中第一次确立了 AG 方法解决非凸非线性规划的收敛性。

    Oct, 2013

  • 非凸优化的自适应梯度方法收敛性研究

    本文提供了关于一类自适应梯度方法（包括 AMSGrad，RMSProp 和 AdaGRad）在光滑非凸函数优化方面的收敛性分析，证明了期望下自适应梯度方法能够收敛到一阶稳定点，同时还证明了 AMSGrad，RMSProp 和 AdaGrad 的收敛速率，这些结论有助于更好地理解自适应梯度方法在优化非凸目标时的机制。

    Aug, 2018

  • 自适应近端梯度方法用于凸优化

    本文探讨了凸优化中的两个基本一阶算法，梯度下降法（GD）和近端梯度法（ProxGD）。我们着重于通过利用光滑函数的局部曲率信息，使这些算法完全自适应。我们提出了基于观察到的梯度差异的 GD 和 ProxGD 的自适应版本，因此没有额外的计算成本。此外，我们证明了方法的收敛性，仅需假设梯度在局部利普希茨连续。此外，所提出的版本允许使用比 [MM20] 最初建议的更大的步长。

    Aug, 2023

  • 一类非凸非凹极小极大问题的全局收敛与方差缩减优化

    研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

    Feb, 2020

  • 关于 AdaGrad (Norm) 在 $R^{d}$ 上的收敛：超越凸性、非渐近速率和加速

    本文针对平滑凸函数的标准和更一般的 quasar 凸函数提出了 AdaGrad 及其变体的深入理解，并提出了新的技术来明确界定未约束问题的纯净 AdaGrad 收敛速度，给出了一个新的 AdaGrad 变体，可以展示最终收敛而不是平均迭代，并在确定的情况下给出了新的加速自适应算法及其收敛保证。

    Sep, 2022

  • 凸优化的私有自适应梯度方法

    本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量 Stochastic Gradient Descent（SGD）算法和 Adagrad 算法的私有版本，证明了我们的私有版本的 Adagrad 优于自适应 SGD，而这又优于传统的 SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

    Jun, 2021

  • 加速额外梯度下降：一种新的加速一阶方法

    提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

    Jun, 2017

  • 增强随机梯度下降：更快收敛的统一框架和新的加速方法

    基于 SGD，本文提出了一种统一框架来解决随机优化中非凸条件下的收敛分析问题，并发现了两种插入加速方法：拒绝加速和随机向量加速，理论上证明这两种方法可以直接提高收敛速度。

    Feb, 2024

  • 基于梯度的非凸优化的催化剂加速

    该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

    Mar, 2017

  • 在线自适应方法、普适性和加速

    本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

    Sep, 2018