Nov, 2023

高斯相位恢复中的加速和隐式正则化

PDF
TL;DR我们研究了高斯相位恢复问题中的加速优化方法，证明了带 Polyak 或 Nesterov 动量的梯度方法具有与梯度下降类似的隐式正则化能力。这种隐式正则化确保算法保持在一个良好的区域，其中成本函数在一般情况下是非凸的，但强凸和光滑的。这确保了这些加速方法比梯度下降方法实现更快的收敛速度。实验证据表明，实践中加速方法比梯度下降方法收敛更快。
accelerated optimization methodsgaussian phase retrievalgradient methodsimplicit regularizationfaster convergence
发现论文，激发创造
  • 非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲源分离问题中线性收敛

    研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

    Nov, 2017

  • Nesterov 的加速梯度和动量作为正则化更新下降的近似

    我们提出了一种适应梯度下降优化方法中更新方向的统一框架，并通过重构经典动量法和 Nesterov 加速梯度法来解释后者算法的新直观解释。我们展示了一种新算法 —— 正则化梯度下降 —— 比 Nesterov 算法或经典动量算法更快地收敛。

    Jul, 2016

  • 关于优化中的加速方法

    本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

    Sep, 2015

  • 加速方法

    本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

    Jan, 2021

  • 偏强凸性条件下 Nesterov 动量法加速深度神经网络的收敛

    本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。

    Jun, 2023

  • 优化加速方法的变分视角

    本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

    Mar, 2016

  • 走向黎曼加速梯度方法

    在弯曲流形环境下，提出了 Riemann 版 Nesterov 加速梯度算法 (RAGD)，并证明了在极小值附近 (半径取决于流形的截面曲率和条件数)，RAGD 算法具有加速收敛性，相比 Liu 等人 (2017) 的算法少了对非线性方程的精确求解，而且具有构造性和可计算性，所使用的证明利用了一个新的估计序列和关于非线性度量扭曲的新界定，两个思想可能是独立有趣的。

    Jun, 2018

  • 一种几何替代 Nesterov 加速梯度下降算法的方法

    我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

    Jun, 2015

  • 共形辛几何与相对论优化

    本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

    Mar, 2019

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019