ABS-SGD：一种适用于异构 GPU 集群的带有自适应批大小的延迟同步随机梯度下降算法

Aug, 2023

ABS-SGD：一种适用于异构 GPU 集群的带有自适应批大小的延迟同步随机梯度下降算法

ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters

PDF

Xin Zhou, Ling Chen, Houming Wu

TL;DR我们提出了一种在异构 GPU 集群中具有自适应批大小的延迟同步随机梯度下降（ABS-SGD）算法，该算法通过全局同步来积累延迟的梯度，并使用积累的延迟梯度来更新参数，实现了计算资源的充分利用，并且在异构集群中具有收敛性。

Abstract

As the size of models and datasets grows, it has become increasingly common to train models in parallel. However, existing distributed stochastic gradient descent (SGD) algorithms suffer from insufficient utilization of computational resources and poor convergence in heterogeneous clusters. In this paper, we propose a delayed synchronous SGD algorithm with <

distributed stochastic gradient descent adaptive batch size heterogeneous gpu clusters utilization of computational resources model convergence

发现论文，激发创造

异步分散并行随机梯度下降

本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如 AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

Oct, 2017

分布式深度学习的同步异步随机梯度下降算法

本文提出了一种改进的异步 SGD 算法，通过梯度陈旧程度对学习速率进行调节，以提高其稳定性和收敛速度，在 CIFAR10 和 Imagenet 数据集上进行了实验验证，并证明了该算法的优越性。

Nov, 2015

具有延迟补偿的异步随机梯度下降

提出了一种新的异步随机梯度下降算法，通过利用梯度函数的泰勒展开和损失函数的快速近似海森矩阵，实现了延迟补偿，从而使 ASGD 的优化行为更接近于顺序 SGD。在 CIFAR-10 和 ImageNet 数据集上进行了评估，实验结果表明，DC-ASGD 优于同步 SGD 和异步 SGD，几乎接近于顺序 SGD 的性能。

Sep, 2016

异步并行随机梯度下降 - 可扩展分布式机器学习算法的数值核心

本文提出了一种利用异步单向通信范例的新型并行更新算法 ASGD，相较于现有方法，ASGD 具有更快（或至少相当）的收敛速度，接近于线性的缩放以及稳定的准确性，在大规模机器学习问题中具有应用前景。

May, 2015

适应性制动以减缓梯度延迟

本研究介绍自适应刹车（AB）这一基于动量优化器的修改方法，有助于减缓梯度延迟所带来的影响，并实现异步训练的稳定加速，进而使应用于 SGD 动量优化器上的 AB 方法能够实现在 CIFAR-10 和 ImageNet-1k 上的训练，最多在 32 个更新步骤下进行，且只有极少的最终测试准确性下降。

Jul, 2020

异步分布式半随机梯度优化

本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

Aug, 2015

AdaBatch：基于有效渐进聚合规则的序列和并行随机梯度方法

本文研究一种用于 mini-batch 的梯度聚合算子，名为 AdaBatch。该算子可用于随机梯度方法，并在稀疏优化问题中大大加速训练过程，同时在保持样本效率的前提下增加批处理大小。实验显示，在光滑凸优化中，该方法甚至可以在固定样本数量的情况下，通过增加批处理大小获得更低的损失。

Nov, 2017

AsGrad: 异步 SGD 算法的锐利统一分析

异步类型算法在异构设置中被分析，提出了统一的收敛理论，并介绍了基于工人洗牌的新型异步方法，数值评估支持理论发现并展示了该方法的良好实际性能。

Oct, 2023

AdaScale SGD：分布式训练的用户友好型算法

AdaScale SGD 是一种可靠地适应大批量训练学习率的算法，通过不断调整梯度方差，可以实现在宽范围的批量大小下加速训练。在机器翻译，图像分类，目标检测和语音识别任务中，它可以处理大批量训练，而不会降低模型质量，因为 AdaScale 的收敛性边界可以保持最终目标值，即使批量大小增加，迭代次数减少。这个算法引入了可忽略的计算开销和没有新的超参数，因此是实现大规模训练的有吸引力的选择。

Jul, 2020

异步共享内存中随机梯度下降算法的收敛性

本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

Mar, 2018