KDDSep, 2019
具有 Nesterov 加速梯度的随机拟牛顿方法
A Stochastic Quasi-Newton Method with Nesterov's Accelerated Gradient
S. Indrapriyadarsini, Shahrzad Mahboubi, Hiroshi Ninomiya, Hideki Asai
TL;DR本文提出了一种具有 Nesterov 加速梯度的随机(在线)拟牛顿方法,用于解决神经网络中的大规模非凸优化问题,结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法,还在不同的动量率和批处理大小下进行了说明。