利用非持久散乱者加速分布式梯度下降
本文介绍了一种新的梯度编码(GC)方案,结合多消息通信(MMC)和聚类,以减少因服务器慢导致的迭代时间延长问题,其能有效提高平均完成时间并降低通信负荷。
Mar, 2019
本文介绍了一种分布式梯度下降方法,该方法使用编码理论并考虑存在 stragglers 的情况,以恰当的机器学习问题为应用场景,理论证明了在给定机器计算能力的情况下,可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度,并提供了一个理论模型来最小化方案参数,从而最小化期望等待时间。最终,数值实验表明了该方法的优越性。
Jun, 2017
本文提出了一种适用于随机拖延者的梯度编码方案(SGC),它通过一种成对平衡的设计将数据点冗余分配给工作人员,并忽略了拖延者,证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配,并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者。
May, 2019
本研究提出了一种名为批处理优惠券集合(BCC)的分布式计算方案,以减轻梯度法中流浪者的影响,该方案在随机弱者数量接近最优时具有鲁棒性,并证明了 BCC 方案的有效性,提高了 85.4%的运行时间。此外,该方案的泛化结果证明了其能够在异构工作节点上实现梯度下降算法以最小化完成时间。
Oct, 2017
本文提出了一种用于并行同步随机梯度下降 (SGD) 的方法,通过固定工作节点的计算时间并组合所有节点的不同贡献,优化并提高了计算效率,有效地解决了严重拖慢收敛速度的 straggler 问题。
Oct, 2018
本文研究了分布式学习在存在迟滞节点的情况下的问题,提出了一种基于 1-bit 梯度编码的新的分布式学习方法,通过降低通信开销,在相同的通信开销下获得更好的学习性能。
Mar, 2024
本研究分析同步和异步分布式随机梯度下降算法的误差和训练时间之间的权衡,考虑到随机拖延延迟,提出了逐渐变化同步性的方法,并在 CIFAR10 数据集上表现良好。
Mar, 2020