ICMLFeb, 2021

随机梯度剪裁的稳定性和收敛性：超越 Lipschitz 连续性和平滑性

PDF
TL;DR本文提出了一种修剪随机梯度（子）梯度法（SGD）的收敛性研究，特别是对于具有快速增长次梯度的非光滑凸函数。研究表明，修剪对 SGD 的稳定性有益，并且修剪 SGD 算法在许多情况下具有有限的收敛速率。同时，我们还研究了带有动量的修剪方法的收敛性，并展示了新的 Lyapunov 分析证明了该方法在这类问题中具有最佳的收敛速率。数值结果验证了理论结果。
stochastic gradient algorithmsgradient clippingconvergence propertiessubgradientslyapunov analysis
发现论文，激发创造
  • 非凸优化裁剪算法的改进分析

    本文通过引入一个新的假设 $(L_0, L_1)$-smoothness，系统研究了剪枝算法的一般框架及其在深度学习任务中的应用，提出了一种将动量方法结合剪枝算法的通用框架，并在确定性和随机性设置下对其进行了收敛性分析，结果表明剪枝算法的效率即使在非平滑的领域中也不会退化。

    Oct, 2020

  • 带剪辑的非凸随机优化的高概率分析

    使用梯度裁剪技术在随机优化算法中研究梯度的截尾行为和其理论保证。

    Jul, 2023

  • 重温梯度剪裁：随机偏差和紧密收敛保证

    本文研究了梯度裁剪在随机梯度下降中的应用，给出了裁剪阈值对收敛结果的影响和其上下界，进一步阐述了裁剪机制的缺陷及解决方案。

    May, 2023

  • 基于梯度分位数截断的鲁棒随机优化

    引入了一种剪裁策略，使用梯度范数的分位数作为剪裁阈值，为平滑目标（凸或非凸）提供鲁棒且高效的优化算法，容忍重尾样本和数据中的异常值，数学分析说明了其收敛性质以及对初始估计误差的高概率界限，并通过实验证实了其高效性和鲁棒性。

    Sep, 2023

  • 高概率收敛界限在重尾噪声下的非线性随机梯度下降

    通过研究一类广泛的非线性随机梯度下降方法在高概率下的收敛界限，我们证明了对于具有 Lipschitz 连续梯度的强凸损失函数，即使在噪声具有重尾分布的情况下，也能实现失败概率的对数依赖性，这对于任何具有有界（逐分量或联合）输出的非线性性质（如剪切、归一化和量化）都是成立的，与以往对于具有重尾噪声的研究相比，我们的研究结果在噪声的矩阶限制上得以松弛。

    Oct, 2023

  • 通过加速梯度削减实现重尾噪声的随机优化

    本文提出了一种新的加速随机一阶方法 clipped-SSTM，该方法通过剪辑随机梯度结合特殊变体的随机梯度下降法，用于解决具有重尾分布噪声的光滑凸随机优化问题，并推导出了该方法的第一个高概率复杂度界限，证明了其优于同类方法。

    May, 2020

  • 非凸随机优化中重尾的高概率界限

    本研究讨论了使用第一阶梯度算法进行的非凸随机优化问题，其中梯度估计可能具有重尾特征，结果表明梯度剪裁，动量和归一化梯度下降的组合可以在高概率下收敛于关键点，特别适用于光滑损失的已知最佳速率，适用于任意光滑度规范，并针对克服该领域二阶光滑损失引发的问题进行讨论。

    Jun, 2021

  • 梯度裁剪为何加速训练：自适应理论解释

    通过实例推导得到一个新的平滑度条件 - 梯度平滑度随着梯度范数增大而增大，进一步推出了一种新的梯度平滑弱化条件，这使得旧行业标准的梯度下降优化算法可以进行改进。我们证明，这种新条件下的梯度削减和标准化梯度方法的收敛速度可任意加快，并在流行的神经网络训练环境下进行了实证验证。

    May, 2019

  • SGD 在高维度中的梯度剪裁动力学

    通过研究剪裁在流式随机梯度下降中的应用，发现剪裁在某些噪声环境中可以提供性能优势，并讨论了高维剪裁与神经网络训练之间的联系。

    Jun, 2024

  • 非光滑非凸优化中随机次梯度方法的收敛性保证

    本研究论文探讨了随机梯度下降（SGD）方法及其变种在训练非光滑激活函数构建的神经网络中的收敛性质，提出了一种新的框架，分别为更新动量项和变量分配不同的时间尺度。在一些温和条件下，我们证明了我们提出的框架在单一时间尺度和双时间尺度情况下的全局收敛性。我们展示了我们提出的框架包含了许多著名的 SGD 类型方法，包括 heavy-ball SGD、SignSGD、Lion、normalized SGD 和 clipped SGD。此外，当目标函数采用有限和形式时，我们证明了基于我们提出的框架的这些 SGD 类型方法的收敛性质。特别地，在温和的假设条件下，我们证明了这些 SGD 类型方法以随机选择的步长和初始点找到了目标函数的 Clarke 稳定点。初步的数值实验表明了我们分析的 SGD 类型方法的高效性。

    Jul, 2023