MMOct, 2019

Q-GADMM：量化组 ADMM 用于通信高效的分散机器学习

PDF
TL;DR本文提出了一种通信高效的、去中心化的机器学习算法 —— 量化组 ADMM (Q-GADMM)，通过量化减少通信链接，采用随机量化方法进行误差传播控制，以及利用深度神经网络架构与随机采样的量化随机 GADMM (Q-SGADMM)，通过对多项测试结果的对比表明，该算法在通信效率方面明显优于 GADMM，在同等时间内实现了相同的准确率和收敛速度。
decentralized machine learningquantizationcommunication efficiencygadmmstochastic sampling
发现论文，激发创造
  • GADMM: 快速且通信高效的分布式机器学习框架

    本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

    Aug, 2019

  • 量化自适应次梯度算法及其应用

    为了在分布式模型训练中平衡通信成本、模型容量和模型性能，本文提出了分布式训练的量化复合镜像下降自适应子梯度（QCMD adagrad）和量化正则化双均值自适应子梯度（QRDA adagrad）算法，利用梯度量化和稀疏模型降低每次迭代中的通信成本，并构建一个基于梯度的量化自适应学习率矩阵来实现通信成本、准确性和模型稀疏性之间的平衡，同时采用了阈值量化策略来提高信噪比和保持模型的稀疏性。

    Aug, 2022

  • 量化一致性 ADMM 用于多智能体分布式优化

    研究了基于交替方向乘法方法的量化分布式算法，用于解决多代理分布式优化问题，该算法适用于包括 LASSO 在内的更一般目标函数（可能是非平滑的）在有限容量和其他实际约束下进行通信。

    Oct, 2015

  • 面向通信效率的联邦学习中模型更新的自适应量化

    本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。 实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。

    Feb, 2021

  • 具有误差反馈的量化 Adam

    本文提出一种分布式变体的自适应随机梯度方法用于训练深度神经网络，并通过梯度量化和权重量化等量化方案以及误差反馈技术来降低通信成本和量化误差，实现在随机非凸的场景下达到一阶稳定点，该方法在深度神经网络训练中取得了良好实验结果。

    Apr, 2020

  • 数据并行 SGD 的自适应梯度量化

    通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

    Oct, 2020

  • QSGD: 通过梯度量化和编码实现通信高效的 SGD

    提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

    Oct, 2016

  • 完全分散化环境下，基于有序 ADMM 的通信高效联邦学习

    本文提出了一种名为基于排序的交替方向乘法方法（OADMM）的通信高效算法，它能够在分布式网络中实现优化和控制，相比传统的 ADMM 算法，在保持精度的情况下显著降低通信开销，并同时引入了建立在 OADMM 之上的 SOADMM 方法加快了收敛速度。

    Feb, 2022

  • 通过惰性聚合量化梯度进行高效的分布式学习通信

    本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。

    Sep, 2019

  • 分布式全图 GNN 训练的自适应消息量化和并行化

    本文研究了分布式完全图训练的图神经网络（GNNs），提出了一种快速训练系统 AdaQP，并使用随机量化和通信计算并行化等技术来降低通信成本，实现了训练吞吐量的显著提升和误差微小的准确性改进。

    Jun, 2023