Jun, 2024

在重尾噪声存在时，梯度剪裁改进了 AdaGrad

PDF
TL;DR本文通过证明，在处理偏重尾噪声时，AdaGrad 和 Adam 具有很差的高概率收敛性，提出了一种名为 Clip-RAdaGradD（Clipped Reweighted AdaGrad with Delay）的新版本 AdaGrad，并证明了它在处理偏重尾噪声时具有多对数相关性的高概率收敛边界。经验评估揭示出剪裁版本的 AdaGrad/Adam 在处理偏重尾噪声时具有卓越优势。
adaptive stepsizesadagradadamgradient clippingheavy-tailed noise
发现论文，激发创造
  • 自适应方法对注意力模型有什么好处？

    本研究表明，一种重尾梯度噪声是 SGD 性能不佳的原因之一，而剪辑梯度可应用于 BERT 预训练和微调任务中，以提高性能。

    Dec, 2019

  • 通过加速梯度削减实现重尾噪声的随机优化

    本文提出了一种新的加速随机一阶方法 clipped-SSTM，该方法通过剪辑随机梯度结合特殊变体的随机梯度下降法，用于解决具有重尾分布噪声的光滑凸随机优化问题，并推导出了该方法的第一个高概率复杂度界限，证明了其优于同类方法。

    May, 2020

  • AdaCliP: 面向隐私 SGD 的自适应剪辑

    本研究提出了 AdaCliP 差分隐私 SGD 算法，通过对梯度进行逐坐标自适应剪辑的方式，可以降低加入的噪音，从而得到更准确的模型。

    Aug, 2019

  • 高概率收敛界限在重尾噪声下的非线性随机梯度下降

    通过研究一类广泛的非线性随机梯度下降方法在高概率下的收敛界限，我们证明了对于具有 Lipschitz 连续梯度的强凸损失函数，即使在噪声具有重尾分布的情况下，也能实现失败概率的对数依赖性，这对于任何具有有界（逐分量或联合）输出的非线性性质（如剪切、归一化和量化）都是成立的，与以往对于具有重尾噪声的研究相比，我们的研究结果在噪声的矩阶限制上得以松弛。

    Oct, 2023

  • 具有重尾噪声的复合和分布式随机最小化和变分不等式的高概率收敛

    基于梯度剪裁的随机一阶优化方法在噪声假设温和的情况下引起了很大关注。我们提出了新的用于复合和分布式优化的随机方法，并证明了这些方法的紧密高概率收敛结果（包括几乎最优的结果）。同时，我们还针对复合和分布式变分不等式开发了新的方法，并分析了这些方法的高概率收敛性。

    Oct, 2023

  • 带剪辑的非凸随机优化的高概率分析

    使用梯度裁剪技术在随机优化算法中研究梯度的截尾行为和其理论保证。

    Jul, 2023

  • 重温梯度剪裁：随机偏差和紧密收敛保证

    本文研究了梯度裁剪在随机梯度下降中的应用，给出了裁剪阈值对收敛结果的影响和其上下界，进一步阐述了裁剪机制的缺陷及解决方案。

    May, 2023

  • 非凸优化裁剪算法的改进分析

    本文通过引入一个新的假设 $(L_0, L_1)$-smoothness，系统研究了剪枝算法的一般框架及其在深度学习任务中的应用，提出了一种将动量方法结合剪枝算法的通用框架，并在确定性和随机性设置下对其进行了收敛性分析，结果表明剪枝算法的效率即使在非平滑的领域中也不会退化。

    Oct, 2020

  • 随机梯度剪裁的稳定性和收敛性：超越 Lipschitz 连续性和平滑性

    本文提出了一种修剪随机梯度（子）梯度法（SGD）的收敛性研究，特别是对于具有快速增长次梯度的非光滑凸函数。研究表明，修剪对 SGD 的稳定性有益，并且修剪 SGD 算法在许多情况下具有有限的收敛速率。同时，我们还研究了带有动量的修剪方法的收敛性，并展示了新的 Lyapunov 分析证明了该方法在这类问题中具有最佳的收敛速率。数值结果验证了理论结果。

    Feb, 2021

  • 凸优化的私有自适应梯度方法

    本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量 Stochastic Gradient Descent（SGD）算法和 Adagrad 算法的私有版本，证明了我们的私有版本的 Adagrad 优于自适应 SGD，而这又优于传统的 SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

    Jun, 2021