本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术,即随机对偶坐标上升算法(SDCA)的一种扩展,首次引入了一种加速版的 mini-batch SDCA 算法,并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法,并将结果与常规 SDCA 和加速的确定性梯度下降方法进行了比较。
May, 2013
本文探讨了在 SVM 的随机优化中使用小批量的问题,并提出了新的 mini-batched SDCA 变体。在原始基于 hinge-loss 的非光滑 primal 问题方面,我们对这两种方法都给出了保证。
Mar, 2013
本研究介绍了随机对偶坐标上升法 (SDCA) 的新分析,证明了这类方法具有与随机梯度下降法 (SGD) 相当或更好的理论保证,从而证明了 SDCA 在实际应用中的有效性。
Sep, 2012
提出了改进型的随机对偶坐标上升方法,无需显式正则化,无需依赖对偶性,甚至对于非凸损失函数,只要期望损失函数是强凸的,就可以证明收敛率是线性的。
Feb, 2016
本文介绍了一种 Stochastic Dual Coordinate Ascent 算法的变体,用于解决非凸损失函数的正则化损失最小化问题,并且证明了只要期望损失是凸的,就可以确保该算法具有线性收敛速度。
Feb, 2015
本文提出了分布式随机双协调上升算法(DisDCA)以解决大规模正则化损失最小化问题,并通过理论分析和实证研究证明,通过增加每次迭代的双向更新次数,DisDCA 算法可以实现指数级收敛加速,从而证明了实际 DisDCA 算法相对于基本算法具有卓越的性能。
Dec, 2013
介绍了 AdaSDCA:一种自适应的随机对偶坐标上升(SDCA)变体,用于解决正则化经验风险最小化问题。AdaSDCA 通过在迭代过程中自适应地改变对偶变量上的概率分布,实现了比 SDCA 更好的复杂度界限。同时,我们提出了 AdaSDCA+:一种实用的变体,在实验中表现优于现有的非自适应方法。
本文提出了一种新的原始 - 对偶方法(Quartz),用于最小化平滑凸函数的平均值,并受到强凸规则器的惩罚,该方法可用于串行,分布式和并行计算,并且我们分析了这种方法的性能表现,其中一些性能表现 good 。
Nov, 2014
通过 Stochastic Dual Newton Ascent 算法,我们提出一种新的途径最小化正则化经验损失,该方法更新了随机子集的对偶变量,可以利用模型中所有曲率信息,实践中有着明显的提高,特别对于二次损失函数。
本文研究了在共享内存多核处理器上并行化基于随机双坐标下降的算法,提出了一种异步算法 ASDCD,分析了使用不同锁定 / 原子机制的收敛性,并在实验结果中展示了我们的方法比以前的并行坐标下降求解器更快。
Apr, 2015