Feb, 2019

加速重缩放梯度下降：平滑函数的快速优化

PDF
TL;DR本文提出了下降算法族，引入了一种名为坐标梯度算法的新的一阶算法，并证明了在函数强平滑的情况下，坐标梯度算法的收敛速度比梯度下降算法更快。当目标函数为凸函数时，我们提出了两种新颖的 “加速” 下降方法的框架，一种是 Nesterov 风格的，另一种是 Monteiro 和 Svaiter 风格的，都使用单个 Lyapunov 进行加速。在相同的强平滑性假设下，坐标梯度下降可以使用两个框架加速。我们提供了一些在机器学习领域中强平滑损失函数的实例和数值实验来验证我们的理论结果，另外还介绍了一些关于 Lyapunov 优化的扩展，包括导出最优通用张量方法以及将我们的框架扩展到坐标设置中。
descent algorithmsrescaled gradient descentstrong smoothness assumptionacceleration frameworklyapunov optimization
发现论文，激发创造
  • 一种几何替代 Nesterov 加速梯度下降算法的方法

    我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

    Jun, 2015

  • 走向黎曼加速梯度方法

    在弯曲流形环境下，提出了 Riemann 版 Nesterov 加速梯度算法 (RAGD)，并证明了在极小值附近 (半径取决于流形的截面曲率和条件数)，RAGD 算法具有加速收敛性，相比 Liu 等人 (2017) 的算法少了对非线性方程的精确求解，而且具有构造性和可计算性，所使用的证明利用了一个新的估计序列和关于非线性度量扭曲的新界定，两个思想可能是独立有趣的。

    Jun, 2018

  • 加速分布式 Nesterov 梯度下降

    本文提出了一种通过本地计算和通信来优化全局函数的分布式优化方法，并探讨了其在不同情形下的收敛速度。

    May, 2017

  • 关于优化中的加速方法

    本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

    Sep, 2015

  • 一种强凸函数的鲁棒加速优化算法

    本文提出了一种加速的一阶优化算法 —— 鲁棒动量法，可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式，并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。

    Oct, 2017

  • 加速额外梯度下降：一种新的加速一阶方法

    提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

    Jun, 2017

  • 通过缩放梯度下降可证明地加速病态低秩估计，即使过度参数化

    本研究论文介绍了一种名为 ScaledGD 的新算法，通过合适的预处理能够快速收敛于低秩对象，并在多种任务中保持梯度下降的低迭代成本，同时无论条件数如何，都能以恒定速率线性收敛，突出了在加速非凸统计估计中适当预处理的能力。

    Oct, 2023

  • 用于复合非强凸优化的快速随机镜像下降算法

    本篇论文提出了一种加速随机镜像下降法来解决平均函数和非强凸函数的问题，绕过了常见的小二次正则化降低性能的方法，可以更好地解决非强凸情况。

    May, 2016

  • 加速随机梯度下降求解有限和最小化

    本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

    Jun, 2015

  • Convex Until Proven Guilty”: 非凸函数上无维度的梯度下降加速

    本研究介绍了一种新的 Nesterov 加速梯度下降法的变体，以应对光滑非凸函数的最小化问题，证明其收敛速度可以接近凸函数，在处理非凸函数方面具有优异的性能，并在此基础上提出了一种基于负曲率的证明非凸性的方法，在具有 Lipschitz 连续梯度和黑塞矩阵的情况下，可以在较少的梯度和函数计算次数内找到目标点。

    May, 2017