Adam型算法的一种新后悔分析

Mar, 2020

A new regret analysis for Adam-type algorithms

Ahmet Alacaoglu, Yura Malitsky, Panayotis Mertikopoulos, Volkan Cevher

TL;DR本文探讨Adam及其变种（AMSgrad、AdamNC等）之间的理论实践差距，提出一种新的框架，通过这个框架，可以在不需要进一步的假设条件下，推导出具有常数beta1的最优数据相关遗憾界。

Abstract

In this paper, we focus on a theory-practice gap for adam and its variants (amsgrad, adamnc, etc.). In practice, these algorithms are used