分布式小批量SDCA
介绍了一个基于proximal的对偶协调上升方法,该算法框架可以用于多种正则化损失最小化问题,包括l1正则化和结构化输出SVM。我们取得的收敛速度与现有最先进结果匹配并有时超过。
Nov, 2012
本文探讨了在 SVM 的随机优化中使用小批量的问题,并提出了新的 mini-batched SDCA 变体。在原始基于 hinge-loss 的非光滑 primal 问题方面,我们对这两种方法都给出了保证。
Mar, 2013
本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术,即随机对偶坐标上升算法(SDCA)的一种扩展,首次引入了一种加速版的mini-batch SDCA算法,并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法,并将结果与常规SDCA和加速的确定性梯度下降方法进行了比较。
May, 2013
本文介绍了一种基于近端随机对偶坐标上升方法的算法,并演示了如何使用内外迭代过程加速该方法。我们分析了该框架的运行时,并获得了改进各种关键机器学习优化问题(包括SVM、逻辑回归、岭回归、套索以及多类别SVM)的最新结果的速率。实验验证了我们的理论发现。
Sep, 2013
本文提出了分布式随机双协调上升算法(DisDCA)以解决大规模正则化损失最小化问题,并通过理论分析和实证研究证明,通过增加每次迭代的双向更新次数,DisDCA算法可以实现指数级收敛加速,从而证明了实际DisDCA算法相对于基本算法具有卓越的性能。
Dec, 2013
提出了一种利用小批量方案改进半随机梯度下降(S2GD)方法的 mS2GD,该方法主要用于最小化一个由很多光滑凸函数的平均值和一个简单的非光滑凸正则化器组成的强凸函数,分析表明,该方法在具有小批量效应和简单并行实现方案的情况下,可以加速算法的收敛过程。
Apr, 2015
本文提出了一种新算法用于规则经验风险最小化问题,可以使非凸损失函数也能收敛,达到与 QUARTZ 相同的复杂度,同时也能更好地利用数据信息,实现任意小批量的设计。
Jun, 2015
本文提出了一个新的分布式双重正则化损失函数最小化问题的方法,可以直接处理数据并行性,并允许系统地导出二次坐标优化过程。通过这个新的公式,我们开发了分布式替代双重最大化(DADM)的加速版本,并提供了理论上的性能分析,发现其性能明显优于以前的分布式坐标优化算法。
Apr, 2016
本文研究了随机梯度方法在多次迭代和小批量训练时的学习特性,并且调节了正则化特性的参数,确认了通过控制迭代次数可以达到最优的有限样本界,同时,合适的步长可以让较大的批量予以考虑,我们使用统一方法,将批量和随机梯度方法作为特例,得到了批量梯度方法的最优收敛结果(即使在不可达的情况下)。
May, 2016