STL-SGD：针对阶段通信周期的本地 SGD 加速

AAAIJun, 2020

STL-SGD：针对阶段通信周期的本地 SGD 加速

STL-SGD: Speeding Up Local SGD with Stagewise Communication Period

Shuheng Shen, Yifei Cheng, Jingchang Liu, Linli Xu

TL;DR本文提出了一种称为 STL-SGD 算法的分布式机器学习算法，通过逐渐增加通信周期来降低通信复杂度并加速收敛速度，证明其具有与 mini-batch SGD 相同的收敛速度和线性加速，且在强凸或满足 Polyak-Lijasiewicz 条件的情况下具有较大的优势。

Abstract

Distributed parallel stochastic gradient descent algorithms are workhorses for large scale machine learning tasks. Among them, local stochastic gradient descent (local sgd) has attracted significant attention due

stl-sgd communication complexity local sgd convergence rate machine learning

发现论文，激发创造

本地 SGD 收敛快且通信量小

本论文证明了局部随机梯度下降算法在凸问题上能够以与小批量随机梯度下降算法相同的速率收敛，并且与工人数量和小批量大小呈线性加速关系，其中通信轮数可以减少长达 T ^ {1/2} 个因子。

May, 2018

大步长同步分布式 SGD 的通信权衡

本文提出了一种名为 local-SGD 的算法，通过逐步同步而非每一步都进行通信提高了通信效率，同时在大步长情况下提供了自适应下限比较。

Apr, 2019

基于工作者数量的通信开销仅受限于本地化随机梯度下降

本文探讨了同时跨越多个工作者并进行随机梯度下降（SGD）来加速 SGD 的方法。通过对 Local SGD 的新分析，本文证明当机器在通信变现之间进行多个本地步骤时，Local SGD 方法可以实现错误按照 $1/（nT）$ 的比例缩放，只需进行固定数量的通信，而无需不断增加通信次数。

Jun, 2020

降低通信复杂度的方差减少本地随机梯度下降

本论文提出了一种 Variance Reduced Local SGD 算法，通过消除工作人员之间的梯度方差依赖性，实现了更低的通信复杂性，以实现线性迭代加速，并在三个机器学习任务上得到了卓越的性能表现。

Dec, 2019

周期平均的本地随机梯度下降：更紧密的分析和自适应同步

本文研究了一种名为 local distributed SGD 的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在 AWS EC2 云和内部 GPU 集群上运行良好。

Oct, 2019

Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

Nov, 2019

局部随机梯度下降上升：收敛分析与通信效率

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

Feb, 2021

通信高效的本地分散式 SGD 方法

本研究提出了一种名为 LD-SGD 的算法，该算法结合了本地更新和分散式通信，提供了分析框架，并给出了收敛的充分条件。该框架为分散式优化设计了更新方案，并具有理论和实际的通信优化效果，从而在分散式设置中提高了通信效率。

Oct, 2019

分布式非凸优化中通信高效动量随机梯度下降的线性加速分析

本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

May, 2019

并行 SGD 动态批大小在随机非凸优化中的计算与通信复杂度

研究使用动态批量大小的分布式优化在随机非凸优化中实现线性加速和收敛率优化。

May, 2019