Dec, 2012

大数据优化的并行坐标下降方法

TL;DR本文针对最小化部分可分平滑凸函数和简单可分离凸函数之和的问题,展示了随机(块)坐标下降法在并行化时可以加速。 研究表明,与串行方法相比,在高概率下近似解决问题所需的迭代次数的理论加速比简单地依赖于并行处理器数量和目标函数平滑部分可分离的自然且易于计算的可分离度度量。 此外,当每次迭代更新的块数是随机的时,该算法的处理能力也非常出色,并可以解决涉及具有 200 亿个非零元素的矩阵的 LASSO 问题。