分布式 SGD 的截断非均匀量化

Feb, 2024

Truncated Non-Uniform Quantization for Distributed SGD

Guangfeng Yan, Tan Li, Yuanzhang Xiao, Congduan Li, Linqi Song

TL;DR为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。

Abstract

To address the communication bottleneck challenge in distributed learning, our work introduces a novel two-stage quantization strategy des

communication bottleneck distributed learning quantization strategy stochastic gradient descent (sgd)convergence analysis

发现论文，激发创造

在分布式学习中管理重尾梯度的改进量化策略

我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。

Feb, 2024

QSGD: 通过梯度量化和编码实现通信高效的 SGD

提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

Oct, 2016

强健且通信高效的协作学习

本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

Jul, 2019

误差补偿量化 SGD 及其在大规模分布式优化中的应用

本文提出了误差补偿量化随机梯度下降算法以优化数据分布式学习中的性能瓶颈，并对其收敛性行为进行了理论分析，同时通过实验证明了该算法在梯度压缩方面具有较大优势。

Jun, 2018

数据并行 SGD 的自适应梯度量化

通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

Oct, 2020

分布式优化的无偏单尺度和多尺度量化器

本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

Sep, 2021

基于梯度量化和方差约束的随机分布式学习

研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

Apr, 2019

Qsparse-local-SGD: 带量化、稀疏化和本地计算的分布式 SGD

本研究旨在提出一种具有依赖误差补偿机制的 Qsparse-local-SGD 算法，该算法采用聚合式稀疏化和量化，以及局部计算方法，并且与其他算法相比在解决大规模学习模型中的通信问题上具备潜在的优越性。

Jun, 2019

一石二鸟：量化实现分布式学习隐私

提出了一种量化解决方案，该方案能够同时实现通信效率和隐私保护，并通过在分布式随机梯度下降框架中将二项式噪声加入到均匀量化的梯度中来证明其有效性，从而在通信、隐私和学习性能之间实现新的平衡。

Apr, 2023

面向通信效率的联邦学习中模型更新的自适应量化

本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。

Feb, 2021