重新审视在放宽假设下的 AdaGrad 收敛性
本文提供了一种简单的收敛证明方法，证明了当仅有仿射噪声方差和有界光滑性假设时，AdaGrad 优化非凸目标，本文基于一个新的辅助函数 ξ 来消除处理 AdaGrad 更新的分子和分母之间的相关性的复杂性，与现有结果相比得到了更紧的结果，并将分析扩展到了若干个新的重要情况。
May, 2023
本文针对平滑凸函数的标准和更一般的 quasar 凸函数提出了 AdaGrad 及其变体的深入理解，并提出了新的技术来明确界定未约束问题的纯净 AdaGrad 收敛速度，给出了一个新的 AdaGrad 变体，可以展示最终收敛而不是平均迭代，并在确定的情况下给出了新的加速自适应算法及其收敛保证。
Sep, 2022
在具有潜在无界梯度和仿射方差噪声的非凸光滑场景下，研究了 Adam 算法的理论性质，证明了它能够以高概率在多项式时间复杂度内找到一个稳定点，同时具有较好的自适应性能。
Feb, 2024
本文提出了一种新的简化的高概率分析 AdaGrad 的方法，并证明了它在光滑非凸问题中的收敛性，并且没有光滑度和方差知识。同时，我们在附加噪声假设下进一步证明了 AdaGrad 的噪声适应性。
Apr, 2022
本文介绍了一种随机子梯度方法，该方法结合了动量项，能够在一类广泛意义下的非光滑、非凸和受约束的优化问题中建立一个特殊的李亚普诺夫函数，实现快速收敛。
Feb, 2020
本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。
Apr, 2023
研究了自适应矩估计算法（Adam）在无约束非凸平滑随机优化中的收敛性，证明了 Adam 能够在很高的概率下以 $O (poly (log T)/√T)$ 的速率收敛到稳定点，不需要任何有界梯度假设和问题相关的先验知识来调整超参数，同时还研究了一个简化版本的 Adam 算法以适应噪声水平。
Nov, 2023
该论文在最宽松的坐标普适光滑性和仿射噪声方差假设下，为 RMSProp 和 Adam 在非凸优化中提供了首个收敛性分析，首先分析了 RMSProp，然后将分析推广到 Adam，表明它们的迭代复杂度与复杂性下界一致。
Apr, 2024