ICLRSep, 2022
关于 AdaGrad (Norm) 在 $R^{d}$ 上的收敛：超越凸性、非渐近速率和加速
On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration
Zijian Liu, Ta Duy Nguyen, Alina Ene, Huy L. Nguyen
TL;DR本文针对平滑凸函数的标准和更一般的 quasar 凸函数提出了 AdaGrad 及其变体的深入理解，并提出了新的技术来明确界定未约束问题的纯净 AdaGrad 收敛速度，给出了一个新的 AdaGrad 变体，可以展示最终收敛而不是平均迭代，并在确定的情况下给出了新的加速自适应算法及其收敛保证。