Feb, 2020

动量优化：动力学、控制理论和辛几何视角

PDF
TL;DR从动态系统的角度分析各种基于动量的优化算法的收敛速度，并利用连续依赖性等基本拓扑性质提供了一种简单的收敛速度表征。该分析包括离散时间和连续时间，以及时间不变和时间变量中的形式，并不局限于凸或欧几里得设置。此外，文章还严格建立了为什么辛普勒克离散方案对基于动量的优化算法很重要，并提供表现出加速收敛的算法的表征。
optimization algorithmsmomentum-basedconvergence ratedynamical systemssymplectic discretization schemes
发现论文，激发创造
  • 优化中动量方法的李雅普诺夫分析

    通过证明估计序列技术与李亚普诺夫函数家族在连续和离散时间上的等价性，我们发现了许多动量算法的简单统一分析方法，引入了一些新算法，并加强了算法与连续时间动力系统之间的联系。

    Nov, 2016

  • 关于辛优化

    本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架，用于将加速梯度方法中连续时间动态转换成离散时间算法，从而实现 oracle 下界，这一框架将加速梯度方法引入了不同的优化领域。

    Feb, 2018

  • 共形辛几何与相对论优化

    本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

    Mar, 2019

  • 动量和原始 - 对偶算法的非线性加速

    本文介绍了多步优化算法的收敛加速方案，并使用 Chebyshev 问题模拟了迭代过程中的行为，同时讨论了该方案在原始 - 对偶算法中的应用，并在逻辑回归问题中进行了数值实验。

    Oct, 2018

  • 利用辛离散化加速高分辨率微分方程求解

    通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE 是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

    Feb, 2019

  • 广义动量法：哈密顿视角

    采用基于哈密顿视角的方法，将 Nesterov 加速梯度下降法和 Polyak 重球方法泛化为广泛的动量方法，得到了无限制约束的最小化问题的一般性和统一性收敛分析，具有直观的时间变化哈密顿量和守恒量。

    Jun, 2019

  • 突破收敛障碍：通过固定时间收敛流进行优化

    本文提出了一种基于漸进时间稳定性的梯度优化框架，从而加速收敛速度并提供了理论分析及在一些数值例子中的验证。

    Dec, 2021

  • 李群动量优化器的定量收敛性

    通过变分优化和动量微化，可以构建优化 Lie 群上定义的函数的显式的基于动量的动力学方法。本文研究了两种离散化方法：Lie Heavy-Ball 和 Lie NAG-SC，分别提供了 L 平滑性和局部强凸性的显式收敛速度。与现有的一般流形加速优化器相比，Lie Heavy-Ball 和 Lie NAG-SC 都计算成本更低、更易实现，因为它们利用了群结构。只需要梯度预言子和指数映射，而不需要计算昂贵的对数映射或平行运输。

    May, 2024

  • 加速方法

    本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

    Jan, 2021

  • 优化加速方法的变分视角

    本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

    Mar, 2016