Oct, 2017

分布式梯度方法的近似最优散乱者缓解

PDF
TL;DR本研究提出了一种名为批处理优惠券集合（BCC）的分布式计算方案，以减轻梯度法中流浪者的影响，该方案在随机弱者数量接近最优时具有鲁棒性，并证明了 BCC 方案的有效性，提高了 85.4％的运行时间。此外，该方案的泛化结果证明了其能够在异构工作节点上实现梯度下降算法以最小化完成时间。
gradient descentdistributed computingstraggler mitigationmachine learningheterogeneous worker nodes
发现论文，激发创造
  • 随时小批量：利用在线分布式优化中的滞后者

    本研究提出了一种名为 Anytime Minibatch 的在线分布式优化方法，其通过多轮共识平均其最小批量梯度来更新主变量，以减轻节点处理速度不均导致的进度缓慢问题。数值结果表明，该方法在 Amazon EC2 上比现有方法快 1.5 倍，在计算节点性能变化较大时，可提高至五倍。

    Jun, 2020

  • 分布式优化和学习中的迟滞者减缓冗余技术

    本文提出了一种分布式优化框架，通过将数据编码为过完备表示，并动态地在每次迭代中舍弃整个计算中的掉队节点，从而减少了延迟和通信传输的负担，结果表明在数据被编码的情况下，对于几种流行的优化算法，包括梯度下降、L-BFGS、在数据并行性下的近端梯度以及在模型并行性下的坐标下降，当掉队者被视为纠删码时，它们都会收敛到原始问题的近似或精确解，收敛结果是确定性的，并且与掉队分布的尾部行为无关，本研究还提出了一种用于大规模数据编码的高效机制，以及证明了用等角紧框架作为编码矩阵的理想性质，并与未编码、异步和数据复制策略进行了比较。

    Mar, 2018

  • 分布式学习中的滞后处理减轻随机梯度编码

    本文提出了一种适用于随机拖延者的梯度编码方案（SGC），它通过一种成对平衡的设计将数据点冗余分配给工作人员，并忽略了拖延者，证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配，并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者。

    May, 2019

  • 数据编码在分布式优化中的缓解残留问题

    本文提出了一种直接在数据中嵌入冗余来处理缓慢任务的新方法，通过一些编码技巧将复制数据的策略转换到线性计算过程中，从而利用节点的任意变化在没有等待慢节点的情况下完成散列计算，并通过实验结果表明此方法的优势。

    Nov, 2017

  • 减少计算负载的快速容错分布式 SGD

    该研究通过适应节点和运算负载调整方法，提高分布式随机梯度下降算法的收敛速度，显著降低计算负载，但略微增加通信负载。

    Apr, 2023

  • 基于边缘设备的分布式学习的分层梯度编码设计与优化

    通过引入边缘节点作为额外的中间层，本文探讨了在分层分布式学习系统中缓解滞后效应的问题，首先推导了工作节点的计算负载和滞后者容忍度之间的基本权衡关系，然后提出了一种层级渐进编码框架，以实现所得到的计算权衡。为了在异构场景中进一步提高我们的框架性能，我们制定了一个优化问题，旨在最小化学习过程中每次迭代的预期执行时间，并设计了一种高效算法来数学求解该问题，得到最优策略。通过大量模拟结果，证明了我们的方案相对于传统解决方案的优越性。

    Jun, 2024

  • 梯度编码

    本文提出了一个新的编码理论框架用于缓解分布式学习中的滞后问题，并使用 MPI 在 Amazon EC2 上实现了该方案，得出其在运行时间和泛化误差方面比基准方法更优秀的结论。

    Dec, 2016

  • 利用非持久散乱者加速分布式梯度下降

    本文介绍了一种新的分布式梯度下降计算方法，通过引入冗余计算任务实现了容错，并允许每个计算服务器在每次迭代中发送多个信息以确保最大化完成任务数量， 从而显著降低了每次迭代的平均完成时间。

    Aug, 2018

  • 稀疏随机图中的近似梯度编码

    通过稀疏图构建的计算简单的渐变编码可以有效增强算法对滞后节点的鲁棒性。

    Nov, 2017

  • 利用聚类和多消息通信的梯度编码

    本文介绍了一种新的梯度编码（GC）方案，结合多消息通信（MMC）和聚类，以减少因服务器慢导致的迭代时间延长问题，其能有效提高平均完成时间并降低通信负荷。

    Mar, 2019