迭代收敛式分布式机器学习中参数服务器的慢工问题实证研究

Jul, 2023

迭代收敛式分布式机器学习中参数服务器的慢工问题实证研究

Empirical Study of Straggler Problem in Parameter Server on Iterative Convergent Distributed Machine Learning

Benjamin Wong

TL;DR当前研究旨在测试当前延迟问题缓解技术在不同重要的迭代收敛机器学习算法（包括矩阵分解、多项逻辑回归和潜在狄利克雷分布）上的有效性，并通过使用 FlexPS 系统实现了实验，该系统采用参数服务器架构进行最新的系统实现。本实验采用批同步并行计算模型来研究迭代收敛分布式机器学习中参数服务器上的延迟问题。此外，本研究还分析了参数服务器策略在并行学习问题上的实验安排，通过注入通用延迟模式并执行最新的缓解技术。该研究的发现具有重要意义，因为它们为进一步研究该问题提供了必要的平台，并允许研究人员比较不同的方法用于各种应用。因此，预计该研究结果将促进新技术的发展，并以新的视角解决这一问题。

Abstract

The purpose of this study is to test the effectiveness of current straggler mitigation techniques over different important iterative convergent machine learning(ML) algorithm including matrix factorization (MF), Multinomial Logistic Regression (MLR), and →

straggler mitigation techniques iterative convergent machine learning matrix factorization multinomial logistic regression latent dirichlet allocation

发现论文，激发创造

分布式优化和学习中的迟滞者减缓冗余技术

本文提出了一种分布式优化框架，通过将数据编码为过完备表示，并动态地在每次迭代中舍弃整个计算中的掉队节点，从而减少了延迟和通信传输的负担，结果表明在数据被编码的情况下，对于几种流行的优化算法，包括梯度下降、L-BFGS、在数据并行性下的近端梯度以及在模型并行性下的坐标下降，当掉队者被视为纠删码时，它们都会收敛到原始问题的近似或精确解，收敛结果是确定性的，并且与掉队分布的尾部行为无关，本研究还提出了一种用于大规模数据编码的高效机制，以及证明了用等角紧框架作为编码矩阵的理想性质，并与未编码、异步和数据复制策略进行了比较。

Mar, 2018

失败训练：并行机器学习训练中数据一致性的影响

通过放宽数据一致性并使用不同的参数服务器配置，本研究探讨了在并行机器学习训练期间的故障容忍性。结果表明，使用无状态参数服务器方法，即使使用过期的权重和梯度，系统仍能保持收敛，并在面临故障时提高准确性，但链式复制和检查点技术则在准确度上受到影响。这些结果表明，在服务器宕机期间允许工作节点持续生成更新，并稍后应用这些更新可以有效提高硬件利用率。此外，尽管资源使用较高，与标准检查点方法相比，无状态参数服务器方法在硬件使用方面具有类似的经济成本，这是由于常见云服务提供商的定价结构所致。

Jun, 2024

抗拖延分布式学习：利用统计准确性和系统异构性相互作用

本文提出了用于 Federated Learning 的一种新型抗 Straggler 算法，该算法结合客户端数据的统计特征，通过适应性选择客户端来加速学习过程并提高可伸缩性。我们的理论结果表明，相比于标准联邦基准，我们的方法对强凸目标能够获得速度提升，而我们的数值实验也证明了与联邦学习基准相比的显著加速。

Dec, 2020

分布式梯度方法的近似最优散乱者缓解

本研究提出了一种名为批处理优惠券集合（BCC）的分布式计算方案，以减轻梯度法中流浪者的影响，该方案在随机弱者数量接近最优时具有鲁棒性，并证明了 BCC 方案的有效性，提高了 85.4％的运行时间。此外，该方案的泛化结果证明了其能够在异构工作节点上实现梯度下降算法以最小化完成时间。

Oct, 2017

分布式机器学习中滞后性的影响研究

本文探讨延迟更新对各种机器学习模型和算法收敛行为的影响，并针对非凸优化中随机梯度下降算法的收敛分析，匹配最佳已知收敛率。

Oct, 2018

资源受限边缘计算系统中的自适应联邦学习

本文主要研究在边缘计算环境中使用分布式梯度下降学习模型参数的问题，提出控制算法以最小化给定资源预算下的损失函数，并通过真实数据集的大量实验评估算法性能。

Apr, 2018

分布式机器学习基于异构边缘系统

提出 ADSP 参数同步方案，解决了分布式机器学习中参数同步与边缘设备的异构性问题，通过策略性地决定每个工作节点提交模型更新的时间点，不仅确保了全局模型收敛，而且加快了收敛速度。

Nov, 2019

异构无线网络中动态分布式模型训练的并行连续学习

本文对联邦学习进行了拓展，提出了并行连续学习 (PSL)，利用 PSL 的框架，实现了从三个方面的拓展：网络（通过设备之间的设备对设备通信进行分散合作），异构性（考虑到训练设备之间的数量、数据来源和性能差异），以及接近度（设备之间不同的距离和不同的访问点）。PSL 实现了模型的分散和本地模型凝聚作为联邦学习方法的一部分，并提出了网络感知动态模型跟踪以优化模型学习和资源效率之间的权衡。

Feb, 2022

一种基于有效本地函数逼近的高效分布式学习算法

本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

Oct, 2013

分布式深度学习中模型准确性与运行时间的权衡：一个系统性研究

本文提出了 Rudra—— 一种参数服务器为基础的分布式计算框架，通过异步随机梯度下降算法的变体，研究了同步协议、过期的梯度更新、小批量大小、学习速率和学习者数量对运行时性能和模型精度的影响，并提出了一种新的学习率调制策略和同步协议，这可以有效地限制梯度在过期期间的误差，提高运行时性能并实现良好的模型精度。此外，我们揭示了一种分布式神经网络的原则：随着系统中增加了更多的学习者，每位学习者的最小批量大小应相应减小以保持模型精度，并使用常用的图像分类基准数据集 CIFAR10 和 ImageNet 进行验证。

Sep, 2015