带记忆的稀疏化随机梯度下降

NIPSSep, 2018

Sparsified SGD with Memory

Sebastian U. Stich, Jean-Baptiste Cordonnier, Martin Jaggi

TL;DR对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

Abstract

Huge scale machine learning problems are nowadays tackled by distributed optimization algorithms, i.e. algorithms that leverage the compute power of many devices for training. The communication overhead is a key bottleneck that hinders perfect scalability. Various recent works proposed

distributed optimization quantization sparsification stochastic gradient descent communication

发现论文，激发创造

分布式深度学习中 Top-k 稀疏化的理解

本文研究了基于 Top-k 稀疏化技术的分布式随机梯度下降算法在训练深度学习模型中的通信负载问题，通过实验和理论推导，提出了更为准确的 Top-k 算子收敛性分析方法，并开发了一种 GPU 上高效的 Top-k 选取算法，提高了 TopK-SGD 的计算效率。

Nov, 2019

稀疏梯度下降法的收敛性

本文研究了基于梯度稀疏化的分布式深度神经网络的训练方法，证明了在一定的解析条件下，采用基于梯度幅值优先选择梯度部分更新方法具有收敛性，并验证了该方法的有效性并探究了其收敛条件。

Sep, 2018

超级计算环境中分布式深度学习的 Top-k 梯度稀疏化实证分析

该论文研究了使用 Top-k SGD 方法减少通信流量来提高深度学习模型在多 GPU 下的训练性能，但是因为在 GPU 上进行梯度排序效率低下，所以该方法具有局限性，提出未来工作的高性能梯度稀疏化方法。

Sep, 2022

重新思考将梯度稀疏化作为总误差最小化问题

通过考虑整个训练过程的通信复杂度模型，使用硬阈值稀疏化进行梯度压缩可以比 Top-k 稀疏化更加高效地减少通信成本，特别是在大型深度神经网络上。

Aug, 2021

Qsparse-local-SGD: 带量化、稀疏化和本地计算的分布式 SGD

本研究旨在提出一种具有依赖误差补偿机制的 Qsparse-local-SGD 算法，该算法采用聚合式稀疏化和量化，以及局部计算方法，并且与其他算法相比在解决大规模学习模型中的通信问题上具备潜在的优越性。

Jun, 2019

分布式优化的无偏单尺度和多尺度量化器

本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

Sep, 2021

通信高效分布式优化的梯度稀疏化

通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。

Oct, 2017

rTop-k：分布式 SGD 的统计估计方法

本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。

May, 2020

一种带有全局 Top-k 稀疏化的分布式同步 SGD 算法，用于低带宽网络

该论文提出一种基于全局 Top-k 稀疏化技术的分布式同步随机梯度下降 (S-SGD) 算法，该算法通过减少通信带宽来提高训练深度神经网络的效率，通过大量实验，验证了算法的收敛性能和泛化性能，实验结果表明该算法的可扩展性比 S-SGD 更高。

Jan, 2019

QSGD: 通过梯度量化和编码实现通信高效的 SGD

提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

Oct, 2016