BriefGPT.xyz
May, 2017
在线到线下转化，普适性和自适应小批量大小
Online to Offline Conversions and Adaptive Minibatch Sizes
HTML
PDF
Kfir Y. Levy
TL;DR
本文提出了一种基于离线方法的凸优化方法，通过查询梯度谐和和的方法实现自适应保证，在平滑和非平滑条件下都能实现快速收敛，同时还可以推广到随机梯度下降算法中，提供了一种根据梯度幅值自适应选择 minibatch 大小的方法。
Abstract
We present an approach towards
convex optimization
that relies on a novel scheme which converts online
adaptive algorithms
into
offline methods
→