Jun, 2019

广义动量法：哈密顿视角

PDF
TL;DR采用基于哈密顿视角的方法，将 Nesterov 加速梯度下降法和 Polyak 重球方法泛化为广泛的动量方法，得到了无限制约束的最小化问题的一般性和统一性收敛分析，具有直观的时间变化哈密顿量和守恒量。
hamiltonian-based perspectivenesterov's accelerated gradient descentpolyak's heavy ball methodconverge analysisgeneralized momentum methods
发现论文，激发创造
  • 基于动量的梯度下降方法在李群上的应用

    在这篇论文中，我们提出了一种基于经典和加速动量方法之间的变分一对一对应的思想，对列伪群优化进行 Nesterov 类方法的推广，之前文献中主要关注的都是对 Polyak 的 Heavy Ball 方法进行推广，我们的数值实验结果显示了该方法的有效性。

    Apr, 2024

  • 共形辛几何与相对论优化

    本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

    Mar, 2019

  • 随机动量方法在凸和非凸优化中的统一收敛分析

    该论文针对随机动量法在非凸优化领域中的收敛性分析不足，通过对两种随机动量法（随机重球法和随机版 Nesterov 加速梯度法）的基本收敛性分析，提出了一种统一框架，展示了它们与随机梯度法之间的相似性和差异性，并在深度学习的测试误差收敛行为中解释了连续变化现象。同时，对深度神经网络的优化实验结果表明，随机版 Nesterov 加速梯度法在训练误差收敛速度和测试误差收敛鲁棒性方面取得了很好的平衡。

    Apr, 2016

  • 优化加速方法的变分视角

    本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

    Mar, 2016

  • 随机梯度、牛顿、近端点和子空间下降方法的动量和随机动量

    本文研究了几种被重量球动量丰富的随机优化算法，证明了它们的全局非渐进线性收敛速率，并在稀疏数据环境下提出了随机动量，证明了它对于带有动量的算法有更好的整体复杂度。

    Dec, 2017

  • 随机梯度方法中动量的作用理解

    该论文通过使用 QHM 的一般公式来对几种流行的算法进行统一分析，涵盖了它们的渐近收敛条件，稳定区域和其稳态分布的性质，通过结合收敛速度和稳态分布结果，得出了设置学习速率和动量参数的实用指南。

    Oct, 2019

  • Hamiltonian Descent 方法

    研究了一种基于动力学系统模拟的优化方法，该方法使用常量步长和一阶梯度信息，在更大的凸函数类中实现线性收敛性，包括那些在其极小值点处可能具有奇异或未有界的二阶导数，该方法的动力学梯度映射可以设计成以凸共轭的形式整合信息，允许在非平滑或非强凸的凸函数上实现线性收敛。

    Sep, 2018

  • 优化中动量方法的李雅普诺夫分析

    通过证明估计序列技术与李亚普诺夫函数家族在连续和离散时间上的等价性，我们发现了许多动量算法的简单统一分析方法，引入了一些新算法，并加强了算法与连续时间动力系统之间的联系。

    Nov, 2016

  • 非凸优化的加速梯度算法：从严格鞍点的逃逸轨迹到局部极小值的收敛

    本文研究了加速梯度方法在光滑非凸函数上的行为，提出了一类 Nesterov 型加速方法，并通过显式和隐式分析证明了其能够避免滑点并收敛于局部最小值。

    Jul, 2023

  • 超参数神经网络动量法的高分辨率动态视角

    本研究分析了在训练神经网络时，动量法中的 Heavy Ball 和 Nesterov 方法的收敛性差异，通过高分辨率动态系统和神经切向核理论对具有 ReLU 激活函数的过度参数化双层神经网络进行收敛分析。结果显示 Nesterov 方法比 Heavy Ball 方法表现更好，证明了其具有更快的收敛速度，并且通过研究梯度校正项的作用，进一步加速了 Nesterov 的收敛速度。最后，我们在三个基准数据集上验证了我们的理论结果。

    Aug, 2022