vqSGD: 向量量化随机梯度下降

Nov, 2019

vqSGD: Vector Quantized Stochastic Gradient Descent

Venkata Gandikota, Daniel Kane, Raj Kumar Maity, Arya Mazumdar

TL;DR本文提出了一种名为 vqSGD 的向量量化方法，具有渐近通信成本降低和在分布式优化中具有收敛性保证的特点，并支持隐私保护。该方法基于点集的凸壳，并提供了多个高效实例，通过应用二进制纠错码的特性，平滑地平衡量化通信和估计误差之间的权衡。通过使用这种向量量化方案，作者成功证明了任何维数在单位球中的 g 的无偏估计需要 O (d/R^2) 位表示，同时估计误差足够小，仅需要在通信方面花费小于 o (d) 的比特数。

Abstract

In this work, we present a family of vector quantization schemes \emph{vqSGD} (Vector-Quantized stochastic gradient descent) that provide an asymptotic reduction in the →

vector quantization stochastic gradient descent distributed optimization communication cost privacy guarantees

发现论文，激发创造

QSGD: 通过梯度量化和编码实现通信高效的 SGD

提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

Oct, 2016

基于梯度量化和方差约束的随机分布式学习

研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

Apr, 2019

扁平化一比特随机梯度下降：受控方差的压缩分布式优化

我们提出了一种在参数服务器框架中实现梯度压缩的分布式随机梯度下降（SGD）的新算法。我们的梯度压缩技术名为压平一位随机梯度下降（FO-SGD），它依赖于两个简单的算法思想：（i）利用抖动技术的一位量化过程，和（ii）在量化之前使用随机快速 Walsh-Hadamard 变换来压平随机梯度。因此，在该方案中，真实梯度的近似是有偏的，但它避免了常见的算法问题，如在一位压缩制度下方差激增、在梯度稀疏情况下性能恶化和对随机梯度分布的限制性假设。实际上，我们证明了在温和条件下类似于 SGD 的收敛性保证。该压缩技术可在工作机 - 服务器通信的双向上使用，因此支持具有完整通信压缩的分布式优化。

May, 2024

随机梯度下降的统一理论：方差减少，采样，量化和坐标下降

本文提出了一种统一分析的变体的近端随机梯度下降法，包括了未进行方差缩减、重要性抽样、小批量抽样、量化、坐标子采样等方法，同时获得了近端随机梯度下降法和随机化坐标下降法、方差缩减和非方差缩减的统一理论，提出了五种新变体的近端随机梯度下降法，并通过数值实验证明了其性质。

May, 2019

Global-QSGD: 分布式学习的实用无浮点量化算法和理论保证

本文介绍了一种新的全局比例缩放量化算子 Global-QSGD，用于加速分布式训练。Global-QSGD 是第一个在所有约束条件下都可证明加速分布式训练的压缩机制，它通过在压缩误差和通信节省之间取得平衡来实现其加速效果，并且不需要昂贵的误差反馈。同时，文章还对通信效率在硬件配置方面的优化进行了大量的理论和实验评估。

May, 2023

高维随机梯度量化用于通信高效边缘学习

本文提出了一种基于分层随机梯度量化的边缘机器学习框架，并研究了其对学习性能的影响，包括量化误差和通信开销的降低。该方案采用了分层结构和基于矢量的量化，同时引入了一个位分配方式来保证量化精度，该方案能够在保证学习准确性的前提下显著减少通信开销。

Oct, 2019

误差补偿量化 SGD 及其在大规模分布式优化中的应用

本文提出了误差补偿量化随机梯度下降算法以优化数据分布式学习中的性能瓶颈，并对其收敛性行为进行了理论分析，同时通过实验证明了该算法在梯度压缩方面具有较大优势。

Jun, 2018

超球量化：面向联邦学习的通信高效 SGD

本篇研究使用超球量化算法解决联邦学习中的梯度通信效率问题，该算法提供了一种连续的折衷方案，可以在不影响梯度准确性的情况下减少通信成本。

Nov, 2019

数据并行 SGD 的自适应梯度量化

通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

Oct, 2020

分布式 SGD 的截断非均匀量化

为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。

Feb, 2024