May, 2024

扁平化一比特随机梯度下降：受控方差的压缩分布式优化

PDF
TL;DR我们提出了一种在参数服务器框架中实现梯度压缩的分布式随机梯度下降（SGD）的新算法。我们的梯度压缩技术名为压平一位随机梯度下降（FO-SGD），它依赖于两个简单的算法思想：（i）利用抖动技术的一位量化过程，和（ii）在量化之前使用随机快速 Walsh-Hadamard 变换来压平随机梯度。因此，在该方案中，真实梯度的近似是有偏的，但它避免了常见的算法问题，如在一位压缩制度下方差激增、在梯度稀疏情况下性能恶化和对随机梯度分布的限制性假设。实际上，我们证明了在温和条件下类似于 SGD 的收敛性保证。该压缩技术可在工作机 - 服务器通信的双向上使用，因此支持具有完整通信压缩的分布式优化。
distributed stochastic gradient descentcompressed gradient communicationflattened one-bit stochastic gradient descentquantization procedurerandomized fast walsh-hadamard transform
发现论文，激发创造
  • 关于异构数据分布式优化的通信压缩

    本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

    Sep, 2020

  • QSGD: 通过梯度量化和编码实现通信高效的 SGD

    提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

    Oct, 2016

  • 基于梯度量化和方差约束的随机分布式学习

    研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

    Apr, 2019

  • 带记忆的稀疏化随机梯度下降

    对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

    Sep, 2018

  • 具有误差反馈的通信高效分布式块动量 SGD

    提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

    May, 2019

  • 在分布式学习中管理重尾梯度的改进量化策略

    我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。

    Feb, 2024

  • 分布式优化的无偏单尺度和多尺度量化器

    本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

    Sep, 2021

  • DoubleSqueeze: 双遍历误差补偿压缩的并行随机梯度下降

    本文研究在分布式学习场景下，提出了一种具有容错性的压缩算法，通过对工作节点和参数服务器上的数据进行错误补偿以提高其效率和收敛率，并进行了理论和实证研究。

    May, 2019

  • signSGD：非凸问题的压缩优化

    signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优化方法对于通信效率和收敛速度的提高具有巨大潜力。

    Feb, 2018

  • vqSGD: 向量量化随机梯度下降

    本文提出了一种名为 vqSGD 的向量量化方法，具有渐近通信成本降低和在分布式优化中具有收敛性保证的特点，并支持隐私保护。该方法基于点集的凸壳，并提供了多个高效实例，通过应用二进制纠错码的特性，平滑地平衡量化通信和估计误差之间的权衡。通过使用这种向量量化方案，作者成功证明了任何维数在单位球中的 g 的无偏估计需要 O (d/R^2) 位表示，同时估计误差足够小，仅需要在通信方面花费小于 o (d) 的比特数。

    Nov, 2019