分布式深度学习中的层自适应梯度稀疏化及收敛性保证

Nov, 2019

分布式深度学习中的层自适应梯度稀疏化及收敛性保证

Layer-wise Adaptive Gradient Sparsification for Distributed Deep Learning with Convergence Guarantees

Shaohuai Shi, Zhenheng Tang, Qiang Wang, Kaiyong Zhao, Xiaowen Chu

TL;DR本文提出了一种新的分布式优化方法LAGS-SGD，它结合了S-SGD与一种新的LAGS方案，通过采用分层自适应梯度稀疏来减少通信负担，实现了通信和计算之间的重叠，同时保证了收敛性能。在16-GPU群集上的实验结果表明，LAGS-SGD在不失精度的情况下优于原始的S-SGD和现有的稀疏S-SGD。

Abstract

To reduce the long training time of large deep neural network (DNN) models, distributed synchronous stochastic gradient descent (S-SGD) is commonly used on a cluster of workers. However, the speedup brought by multiple workers is limited by the communication overhead. Two approaches, n

发现论文，激发创造

通信高效分布式优化的梯度稀疏化

通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。

Oct, 2017

带记忆的稀疏化随机梯度下降

对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

Sep, 2018

稀疏梯度下降法的收敛性

本文研究了基于梯度稀疏化的分布式深度神经网络的训练方法，证明了在一定的解析条件下，采用基于梯度幅值优先选择梯度部分更新方法具有收敛性，并验证了该方法的有效性并探究了其收敛条件。

Sep, 2018

一种带有全局 Top-k 稀疏化的分布式同步 SGD 算法，用于低带宽网络

该论文提出一种基于全局 Top-k 稀疏化技术的分布式同步随机梯度下降 (S-SGD) 算法，该算法通过减少通信带宽来提高训练深度神经网络的效率，通过大量实验，验证了算法的收敛性能和泛化性能，实验结果表明该算法的可扩展性比 S-SGD 更高。

Jan, 2019

分布式稀疏全局约简分层SGD算法

为了减少大规模机器学习应用中分布式平台训练过程中的通信成本，我们提出了一种分布式层次平均随机梯度下降（Hier-AVG）算法，该算法采用局部平均，通过引入不频繁的全局平均来实现。实验结果表明，与其他算法相比，采用Hier-AVG可以实现更快的训练结果，而仍能达到更好的测试精度。

Mar, 2019

Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

本篇论文提出了一种新的SGD变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了1B字数据集的训练时间30%。

Nov, 2019

rTop-k：分布式SGD的统计估计方法

本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。

May, 2020

局部随机梯度下降上升：收敛分析与通信效率

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

Feb, 2021

分布式深度学习梯度压缩的评估与优化

本研究提出了一种名为ACP-SGD的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与S-SGD相比，优化后的ACP-SGD在减少压缩和通信开支的同时，能够实现相似的模型准确性。

Jun, 2023

分布式本地梯度方法的通信高效自适应批量大小策略

现代深度神经网络通常需要分布式训练以应对其巨大的规模，但当工作节点数量增加时，通过每次迭代梯度同步的数据并行小批量随机梯度方法中的通信开销成为主要瓶颈。本文引入了适应性批量大小策略，用于局部梯度方法，通过自适应地增加批量大小来减小小批量梯度的方差，提供了在均匀数据条件下的收敛性保证，并通过图像分类实验支持我们的说法，证明了我们的策略在训练和泛化中的有效性。

Jun, 2024