Jul, 2014
SAGA: 具有非强凸复合目标支持的快速增量梯度方法
SAGA: A Fast Incremental Gradient Method With Support for Non-Strongly
Convex Composite Objectives
TL;DR介绍了一种新的优化方法——SAGA，它是在最近提出的一组具有快速线性收敛率的增量梯度算法：SAG、SDCA、MISO和SVRG的基础上提出的。SAGA改进了SAG和SVRG的理论，具有更好的理论收敛率，并支持在规则化器上使用近端算子的复合目标。与SDCA不同，SAGA直接支持非强凸问题，并且适应于问题的任何内在强凸性。 我们给出了实验结果，表明我们的方法的有效性。