Jun, 2023

DropCompute：通过计算方差减少计算量的简单而稳健的分布式同步训练

PDF
TL;DR本文提出了一种简单而有效的分散式方法，以减少工作人员之间的变化，从而提高同步训练的鲁棒性，并验证了这些结果。
distributed trainingdeep neural networkssynchronous trainingstraggling workersdecentralized method
发现论文，激发创造
  • 分布式同步 SGD 的再探讨

    本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

    Apr, 2016

  • 基于方差的梯度压缩用于高效的分布式深度学习

    本文提出了一种用于降低分布式深度学习通信开销的方法，通过延迟梯度更新以使得梯度可以在计算出高幅度、低方差的梯度后进行。在实验中，我们证明了该方法能够在保持模型准确性的同时实现非常高的压缩比，并分析了使用计算模型和通信模型的效率，提供了该方法能够实现在许多场景下使用基础设施的证据。

    Feb, 2018

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • Ravnest：异构设备上的去中心化异步训练

    该论文提出了一种异步分布式训练方法，利用互联网连接的具有有限资源的普通异构个人电脑的计算能力，在大型现代深度学习模型上取得了良好的性能指标，通过将计算节点高效地组织成具有相似数据传输速度和计算能力的集群，避免了每个节点承载整个模型，并采用并行多环全局参数平均方法实现全局参数平均。同时，论文在异步 SGD 损失函数上进行了解析，推导出了收敛速度的最优复杂度以及参与集群数量的线性加速和时滞参数的界.

    Jan, 2024

  • Pipe-SGD: 分布式深度神经网络训练的去中心化管道式 SGD 框架

    本文提出一种基于 AllReduce 的分布式深度学习训练方法，并通过在四节点 GPU 集群测试，证明具有两个宽度的流水线架构可以将同步和异步训练的优点相结合，可将训练时间提高多达 5.4 倍。

    Nov, 2018

  • 减少计算负载的快速容错分布式 SGD

    该研究通过适应节点和运算负载调整方法，提高分布式随机梯度下降算法的收敛速度，显著降低计算负载，但略微增加通信负载。

    Apr, 2023

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 开放协作中的分布式深度学习

    本文研究了 Deep Learning 中在协作训练上的瓶颈，提出了一种适用于协作训练的新算法框架，并在实际条件下展示了该方法对 SwAV 和 ALBERT 的预训练效果，结果表明该方法的性能与传统设置相当，成本仅为传统设置的一小部分。最后，提供了一个由 40 名参与者组成的成功的协作语言模型预训练的详细报告。

    Jun, 2021

  • 分布式机器学习中的计算调度与延迟工人问题

    本文研究分布式学习中多个工作者的计算任务调度问题，提出了两种计算调度方案，以及基于计算和通信延迟的平均完成时间分析，实验证明所提出的方案有效且接近最优解。

    Oct, 2018