Apr, 2015

PASSCoDe：并行异步随机双坐标下降

PDF
TL;DR本文研究了在共享内存多核处理器上并行化基于随机双坐标下降的算法，提出了一种异步算法 ASDCD，分析了使用不同锁定 / 原子机制的收敛性，并在实验结果中展示了我们的方法比以前的并行坐标下降求解器更快。
stochastic dual coordinate descentparallelizationasynchronouslocking/atomic mechanismsconvergence
发现论文，激发创造
  • 用于正则化损失最小化的随机对偶坐标上升方法

    本研究介绍了随机对偶坐标上升法 (SDCA) 的新分析，证明了这类方法具有与随机梯度下降法 (SGD) 相当或更好的理论保证，从而证明了 SDCA 在实际应用中的有效性。

    Sep, 2012

  • 异步并行随机坐标下降算法

    本文提出了一种异步并行随机坐标下降算法，它具有线性收敛速率和 $1/K$ 的次线性速率，可实现基于多核系统的近线性加速，并取得了在 40 核处理器上的实现结果。

    Nov, 2013

  • 异步随机坐标下降：并行与收敛性质

    本文提出一种异步并行随机近端坐标下降算法，用于最小化由光滑凸函数和可分离凸函数组成的复合目标函数，并给出在多核处理器上的实现结果。

    Mar, 2014

  • 用于规则经验风险最小化的随机原始对偶坐标法

    本文探讨了与正则化的经验风险线性预测器极小化相伴的一般凸优化问题，并将其重构为凸凹鞍点问题。我们提出了随机原始对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上进行最大化和在原始变量上进行最小化之间交替运算，并通过原始变量的外推步骤以提高收敛速度。我们还开发了 SPDC 方法的小批量版本，以便实现并行计算，并在对偶变量的加权采样概率上进行了扩展，使其比非标准化数据上的均匀采样具有更好的复杂度，理论和经验表明 SPDC 方法与一些最先进的优化方法相比具有可比或更好的性能。

    Sep, 2014

  • 分布式随机对偶协调上升分析

    本文提出了分布式随机双协调上升算法（DisDCA）以解决大规模正则化损失最小化问题，并通过理论分析和实证研究证明，通过增加每次迭代的双向更新次数，DisDCA 算法可以实现指数级收敛加速，从而证明了实际 DisDCA 算法相对于基本算法具有卓越的性能。

    Dec, 2013

  • 异步随机块坐标下降与方差约束

    本研究论文提出了一种异步随机块坐标下降算法，通过方差约减的加速技术来处理由平滑函数和块可分离凸函数构成的复合目标函数，具有较高的效率和可扩展性。

    Oct, 2016

  • 自适应概率随机对偶坐标上升

    介绍了 AdaSDCA：一种自适应的随机对偶坐标上升（SDCA）变体，用于解决正则化经验风险最小化问题。AdaSDCA 通过在迭代过程中自适应地改变对偶变量上的概率分布，实现了比 SDCA 更好的复杂度界限。同时，我们提出了 AdaSDCA+：一种实用的变体，在实验中表现优于现有的非自适应方法。

    Feb, 2015

  • 自适应随机原始对偶坐标下降算法处理可分离鞍点问题

    本文提出了一种基于随机块坐标下降和自适应步长的原始 - 对偶更新框架，用于解决具有可分结构的凸 - 凹鞍点问题，并在正则化的经验风险最小化问题上进行了实证分析，结果表明该方法具有较快的收敛速度和良好的表现。

    Jun, 2015

  • 大规模鞍点问题的随机并行块坐标下降

    本文提出一种新的针对分离结构和非强凸函数的凸凹鞍点问题的高效随机块坐标下降方法，采用自适应原始 - 对偶更新方法，可灵活地并行优化大规模问题。该方法在多个机器学习应用中均有显著提高，包括鲁棒主成分分析、Lasso 和通过组 Lasso 进行特征选择等。在理论和实际上，我们证明了该方法在所有这些应用中都具有明显优势。

    Nov, 2015

  • 加速小批次随机对偶坐标上升

    本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术，即随机对偶坐标上升算法（SDCA）的一种扩展，首次引入了一种加速版的 mini-batch SDCA 算法，并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法，并将结果与常规 SDCA 和加速的确定性梯度下降方法进行了比较。

    May, 2013