AdaGrad在非凸优化中的渐近与非渐近收敛分析：基于新停时分析的方法

Sep, 2024

AdaGrad在非凸优化中的渐近与非渐近收敛分析：基于新停时分析的方法

Asymptotic and Non-Asymptotic Convergence Analysis of AdaGrad for Non-Convex Optimization via Novel Stopping Time-based Analysis

HTML

PDF

Ruinan Jin, Xiaoyu Wang, Baoxiang Wang

TL;DR本研究解决了AdaGrad在非凸优化中渐近和非渐近收敛率理论分析不足的问题。通过引入来自概率理论的新停时技术，建立了AdaGrad在温和条件下的稳定性，并推导出几乎必然和均方的渐近收敛形式，展示了平均平方梯度的接近最优非渐近收敛率。这为未来其他自适应随机算法的研究提供了潜在的独立技术。

Abstract

adaptive optimizers have emerged as powerful tools in deep learning, dynamically adjusting the learning rate based on iterative gradients. These adaptive methods have significantly succeeded in various deep learning tasks, outperforming stochastic gradient descent (SGD). However, altho

发现论文，激发创造

可扩展自适应随机投影随机优化

通过随机降维的方式，提出了Ada-LR和RadaGrad两种有效的逼近全矩阵AdaGrad的算法，能够在减少计算 cost 的同时保证和全矩阵AdaGrad相似的性能，其中RadaGrad在卷积神经网络和循环神经网络的训练中能够实现更快的收敛速度。

Nov, 2016

自适应步长随机梯度下降算法的收敛性

通过研究广义AdaGrad步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现O（1/T）到O（1/根号T）的插值（带有对数项）。

May, 2018

AdaGrad步长：在非凸景观上的尖锐收敛

本文提出了一种更新梯度下降步长的方法：AdaGrad-Norm，不需要微调步长计划，对于光滑的非凸函数具有收敛性，并具备健壮性

Jun, 2018

统一动量的加权AdaGrad算法

通过引入重加权AdaGrad联合动量，AdaUSM在解决难以收敛的随机问题时，其带权高斯平均符合实时梯度下降法 (SGD) 和AdaGrad的学习率下降速度，同时还能实现SGD动量和Nesterov学习率全方位的整合。

Aug, 2018

关于AdaGrad(Norm)在$R^{d}$上的收敛：超越凸性、非渐近速率和加速

本文针对平滑凸函数的标准和更一般的 quasar 凸函数提出了 AdaGrad 及其变体的深入理解，并提出了新的技术来明确界定未约束问题的纯净 AdaGrad 收敛速度，给出了一个新的 AdaGrad 变体，可以展示最终收敛而不是平均迭代，并在确定的情况下给出了新的加速自适应算法及其收敛保证。

Sep, 2022

非凸目标函数的AdaGrad收敛性: 简单证明和宽松假设

本文提供了一种简单的收敛证明方法，证明了当仅有仿射噪声方差和有界光滑性假设时，AdaGrad 优化非凸目标，本文基于一个新的辅助函数ξ来消除处理 AdaGrad 更新的分子和分母之间的相关性的复杂性，与现有结果相比得到了更紧的结果，并将分析扩展到了若干个新的重要情况。

May, 2023

偏见自适应随机逼近的非渐近分析

本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的Adagrad和RMSProp算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，并展示了通过适当的超参数调整可以减少偏倚影响的能力。

Feb, 2024

AdAdaGrad：自适应梯度方法的自适应批次大小方案

通过使用自适应批次大小策略，引入了AdAdaGrad和AdAdaGradNorm，在深度学习中展示了逐步批处理协议的提升适应性以及与自适应梯度优化器结合使用的自适应批次大小策略的潜力。

Feb, 2024

自适应梯度方法在细化平滑度和噪声假设下的收敛分析

分析了AdaGrad在随机非凸优化中收敛速率，证明了存在优于SGD的收敛速度，并给出了收敛速率的上界和下界。

Jun, 2024

Adagrad在各向异性光滑下的大批量分析

通过在大批量设置下对Adagrad进行新分析，证明了它在凸平滑目标和非凸平滑目标上不会因批量大小增加而收敛减慢，因此在大批量设置中仍然可以比SGD更快地实现收敛，进而解决了理论和实践之间的差距。

Jun, 2024