Jun, 2023

加速拟牛顿近端外推算法:用于平滑凸优化的更快速率

TL;DR本文提出了一种加速的拟牛顿近端外推(A-QPNE)算法来解决无约束光滑凸优化问题,证明了该方法能够实现收敛速度,并且通过蒙特罗-斯维特加速框架的变种来构建这个方法,并采用在线学习方法更新Hessian矩阵的近似,这个方法在一定范围内是优于NAG算法的.