Jun, 2017
在线和随机优化中自适应正则化的统一方法
A Unified Approach to Adaptive Regularization in Online and Stochastic
Optimization
TL;DR论文描述了一种框架，用于推导和分析在线优化算法，包括数据相关正则化，称为预调节。该框架捕获和统一了许多关于自适应在线方法的现有文献，包括AdaGrad和Online Newton Step算法及其对角线版本。我们得到了这些算法的新收敛证明，这些证明比以前的分析要简单得多。我们的框架还揭示了常见随机优化方法中不同预调节更新的基本原理。