Oct, 2016

异步随机块坐标下降与方差约束

PDF
TL;DR本研究论文提出了一种异步随机块坐标下降算法，通过方差约减的加速技术来处理由平滑函数和块可分离凸函数构成的复合目标函数，具有较高的效率和可扩展性。
async parallel implementationstochastic optimizationblock coordinate descentvariance reductionmachine learning
发现论文，激发创造
  • 异步随机坐标下降：并行与收敛性质

    本文提出一种异步并行随机近端坐标下降算法，用于最小化由光滑凸函数和可分离凸函数组成的复合目标函数，并给出在多核处理器上的实现结果。

    Mar, 2014

  • 异步并行随机坐标下降算法

    本文提出了一种异步并行随机坐标下降算法，它具有线性收敛速率和 $1/K$ 的次线性速率，可实现基于多核系统的近线性加速，并取得了在 40 核处理器上的实现结果。

    Nov, 2013

  • 更加现实的假设下的异步坐标下降

    本篇论文研究非同步并行块协调下降算法，证明了更实际的假设条件下算法的收敛性，并构建了直接模拟目标进展和延迟的李雅普诺夫函数。

    May, 2017

  • PASSCoDe：并行异步随机双坐标下降

    本文研究了在共享内存多核处理器上并行化基于随机双坐标下降的算法，提出了一种异步算法 ASDCD，分析了使用不同锁定 / 原子机制的收敛性，并在实验结果中展示了我们的方法比以前的并行坐标下降求解器更快。

    Apr, 2015

  • 零阶异步双随机算法与方差缩减

    本文提出了一种使用方差缩减的异步双随机零阶优化算法 (AsyDSZOVR)，应用于光滑但不一定是凸函数的有限和问题，证明了该算法将收敛速度从 O（1 /√T）提高到了 O（1 / T），优于现有算法的最佳结果，并且也超越了顺序随机零阶优化算法的理论结果。

    Dec, 2016

  • 大数据优化的并行坐标下降方法

    本文针对最小化部分可分平滑凸函数和简单可分离凸函数之和的问题，展示了随机（块）坐标下降法在并行化时可以加速。 研究表明，与串行方法相比，在高概率下近似解决问题所需的迭代次数的理论加速比简单地依赖于并行处理器数量和目标函数平滑部分可分离的自然且易于计算的可分离度度量。 此外，当每次迭代更新的块数是随机的时，该算法的处理能力也非常出色，并可以解决涉及具有 200 亿个非零元素的矩阵的 LASSO 问题。

    Dec, 2012

  • 分布式块坐标下降法用于最小化部分可分离函数

    本文提出了一种分布式随机块坐标下降方法来最小化具有大量变量 / 坐标的凸函数，并分析了其复杂度，其中局部块可分的光滑部分直接影响了其复杂度，进一步扩展了已有研究成果，该方法在分布式环境下的实现还使用了集群计算和计算同步等技术。

    Jun, 2014

  • 快速异步并行随机梯度下降

    本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。

    Aug, 2015

  • 随机梯度下降及其异步变体中的方差降低

    该研究探讨了基于方差缩减的优化算法，尤其是异步版本的 SVRG 和 SAGA 在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

    Jun, 2015

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015