May, 2024

李群动量优化器的定量收敛性

PDF
TL;DR通过变分优化和动量微化，可以构建优化 Lie 群上定义的函数的显式的基于动量的动力学方法。本文研究了两种离散化方法：Lie Heavy-Ball 和 Lie NAG-SC，分别提供了 L 平滑性和局部强凸性的显式收敛速度。与现有的一般流形加速优化器相比，Lie Heavy-Ball 和 Lie NAG-SC 都计算成本更低、更易实现，因为它们利用了群结构。只需要梯度预言子和指数映射，而不需要计算昂贵的对数映射或平行运输。
发现论文，激发创造
  • 基于动量的梯度下降方法在李群上的应用

    在这篇论文中，我们提出了一种基于经典和加速动量方法之间的变分一对一对应的思想，对列伪群优化进行 Nesterov 类方法的推广，之前文献中主要关注的都是对 Polyak 的 Heavy Ball 方法进行推广，我们的数值实验结果显示了该方法的有效性。

    Apr, 2024

  • 共形辛几何与相对论优化

    本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

    Mar, 2019

  • 基于李群的动力 Langevin Monte Carlo 的收敛性

    基于动量的动力学方法的优化与采样机制的研究，其中涉及 Lie 群、变分优化、动量动力学与采样动力学，以及基于动量的动力学方法在曲面上的收敛性研究。

    Mar, 2024

  • 广义动量法：哈密顿视角

    采用基于哈密顿视角的方法，将 Nesterov 加速梯度下降法和 Polyak 重球方法泛化为广泛的动量方法，得到了无限制约束的最小化问题的一般性和统一性收敛分析，具有直观的时间变化哈密顿量和守恒量。

    Jun, 2019

  • 随机动量方法在 Wasserstein 距离中的加速线性收敛

    研究了 Polyak 重球法，Nesterov 加速梯度以及加速投影梯度法等动量方法在梯度噪声情况下的收敛性，证明了其在小于一定噪声上限后仍能保持加速线性速率的收敛性并且提出了步长、动量参数和噪声幅度与加速线性速率之间的关系模型。此外，还对 APG 方法和弱凸函数进行了扩展研究。

    Jan, 2019

  • 具向异性梯度噪声的随机重力球法加速收敛

    本文通过建立随机重球方法在二次目标函数和异性梯度噪声条件下的非渐近收敛界，证明了重球动量可以在 SGD 的偏差项上提供加速收敛，同时与随机方差项相比，仍然能够实现接近最优的收敛速度，从而在统计极小化速度的对数因素范围内整体收敛，该结果意味着带有重球动量的 SGD 在大批量设置中（例如分布式机器学习或联邦学习）中非常有用，其中更少的迭代次数可以显著减少通信轮数，进而加速实践计算。

    Dec, 2023

  • 随机梯度方法中动量的作用理解

    该论文通过使用 QHM 的一般公式来对几种流行的算法进行统一分析，涵盖了它们的渐近收敛条件，稳定区域和其稳态分布的性质，通过结合收敛速度和稳态分布结果，得出了设置学习速率和动量参数的实用指南。

    Oct, 2019

  • 随机梯度、牛顿、近端点和子空间下降方法的动量和随机动量

    本文研究了几种被重量球动量丰富的随机优化算法，证明了它们的全局非渐进线性收敛速率，并在稀疏数据环境下提出了随机动量，证明了它对于带有动量的算法有更好的整体复杂度。

    Dec, 2017

  • 超参数神经网络动量法的高分辨率动态视角

    本研究分析了在训练神经网络时，动量法中的 Heavy Ball 和 Nesterov 方法的收敛性差异，通过高分辨率动态系统和神经切向核理论对具有 ReLU 激活函数的过度参数化双层神经网络进行收敛分析。结果显示 Nesterov 方法比 Heavy Ball 方法表现更好，证明了其具有更快的收敛速度，并且通过研究梯度校正项的作用，进一步加速了 Nesterov 的收敛速度。最后，我们在三个基准数据集上验证了我们的理论结果。

    Aug, 2022

  • 深度学习随机动量方法的统一分析

    本文研究随机动量方法，包含随机梯度法（SG），随机重球方法（SHB）和随机 Nesterov's 加速梯度方法（SNAG）。我们提出了一个框架，统一了这三种方法，并通过一致稳定性方法推导了梯度范数的收敛速率和推导了非凸优化问题。同时，我们也分别分析了这三个方法的收敛率和泛化性能。研究结果表明，动量项可以提高学习模型的稳定性和泛化性能。

    Aug, 2018