Dec, 2013

分布式随机对偶协调上升分析

PDF
TL;DR本文提出了分布式随机双协调上升算法（DisDCA）以解决大规模正则化损失最小化问题，并通过理论分析和实证研究证明，通过增加每次迭代的双向更新次数，DisDCA 算法可以实现指数级收敛加速，从而证明了实际 DisDCA 算法相对于基本算法具有卓越的性能。
distributed stochastic dual coordinate ascentregularized loss minimizationconvergence ratesdual updatesexponential speed-up
发现论文，激发创造
  • 用于正则化损失最小化的随机对偶坐标上升方法

    本研究介绍了随机对偶坐标上升法 (SDCA) 的新分析，证明了这类方法具有与随机梯度下降法 (SGD) 相当或更好的理论保证，从而证明了 SDCA 在实际应用中的有效性。

    Sep, 2012

  • 加速小批次随机对偶坐标上升

    本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术，即随机对偶坐标上升算法（SDCA）的一种扩展，首次引入了一种加速版的 mini-batch SDCA 算法，并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法，并将结果与常规 SDCA 和加速的确定性梯度下降方法进行了比较。

    May, 2013

  • 无对偶的 SDCA

    本文介绍了一种 Stochastic Dual Coordinate Ascent 算法的变体，用于解决非凸损失函数的正则化损失最小化问题，并且证明了只要期望损失是凸的，就可以确保该算法具有线性收敛速度。

    Feb, 2015

  • 自适应概率随机对偶坐标上升

    介绍了 AdaSDCA：一种自适应的随机对偶坐标上升（SDCA）变体，用于解决正则化经验风险最小化问题。AdaSDCA 通过在迭代过程中自适应地改变对偶变量上的概率分布，实现了比 SDCA 更好的复杂度界限。同时，我们提出了 AdaSDCA+：一种实用的变体，在实验中表现优于现有的非自适应方法。

    Feb, 2015

  • 无对偶、正则化和单独凸性的 SDCA

    提出了改进型的随机对偶坐标上升方法，无需显式正则化，无需依赖对偶性，甚至对于非凸损失函数，只要期望损失函数是强凸的，就可以证明收敛率是线性的。

    Feb, 2016

  • 分布式小批量 SDCA

    该论文提出了一种改进的 mini-batch 随机双坐标上升方法，用于正则化经验损失最小化（即，支持向量机和支持向量机类型目标）。我们的分析允许灵活的抽样方案，包括数据分布跨多台机器，并结合了对损失平滑度和 / 或数据展开性的依赖（通过谱范数度量）。

    Jul, 2015

  • 通信高效的分布式对偶坐标上升

    提出了一种称为 CoCoA 的通信高效的框架，该框架采用原始 - 对偶设置进行本地计算，从而显著减少必要的通信，实验结果表明，相比于 SGD 和 SDCA 算法，CoCoA 在平均 25 倍的时间内收敛到相同的.001 精度解决方案质量。

    Sep, 2014

  • PASSCoDe：并行异步随机双坐标下降

    本文研究了在共享内存多核处理器上并行化基于随机双坐标下降的算法，提出了一种异步算法 ASDCD，分析了使用不同锁定 / 原子机制的收敛性，并在实验结果中展示了我们的方法比以前的并行坐标下降求解器更快。

    Apr, 2015

  • 一种通用的分布式双坐标优化框架用于正则化损失最小化

    本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的分布式坐标优化算法。

    Apr, 2016

  • 适应性随机双坐标上升用于条件随机场

    本文研究了使用 Shalev-Shwartz 和 Zhang（2016）的 stochastic dual coordinate ascent（SDCA）算法训练条件随机场（CRFs）的方法，提出了一种新的自适应非均匀采样策略，设计实验在四个标准的序列预测任务上进行测试，表明 SDCA 方法在大多数情况下具有与现有技术同等的性能并在其中三个数据集上得到了性能的提升。

    Dec, 2017