高维随机梯度量化用于通信高效边缘学习

Oct, 2019

高维随机梯度量化用于通信高效边缘学习

High-Dimensional Stochastic Gradient Quantization for Communication-Efficient Edge Learning

Yuqing Du, Sheng Yang, Kaibin Huang

TL;DR本文提出了一种基于分层随机梯度量化的边缘机器学习框架，并研究了其对学习性能的影响，包括量化误差和通信开销的降低。该方案采用了分层结构和基于矢量的量化，同时引入了一个位分配方式来保证量化精度，该方案能够在保证学习准确性的前提下显著减少通信开销。

Abstract

edge machine learning involves the deployment of learning algorithms at the wireless network edge so as to leverage massive mobile data for enabling intelligent applications. The mainstream edge learning approach, federated learning, has been developed based on distributed gradient des

edge machine learning federated learning stochastic gradient quantization bit-allocation scheme communication overhead reduction

发现论文，激发创造

超球量化：面向联邦学习的通信高效 SGD

本篇研究使用超球量化算法解决联邦学习中的梯度通信效率问题，该算法提供了一种连续的折衷方案，可以在不影响梯度准确性的情况下减少通信成本。

Nov, 2019

QSGD: 通过梯度量化和编码实现通信高效的 SGD

提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

Oct, 2016

面向通信效率的联邦学习中模型更新的自适应量化

本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。

Feb, 2021

通过惰性聚合量化梯度进行高效的分布式学习通信

本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。

Sep, 2019

误差补偿量化 SGD 及其在大规模分布式优化中的应用

本文提出了误差补偿量化随机梯度下降算法以优化数据分布式学习中的性能瓶颈，并对其收敛性行为进行了理论分析，同时通过实验证明了该算法在梯度压缩方面具有较大优势。

Jun, 2018

基于梯度量化和方差约束的随机分布式学习

研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

Apr, 2019

边缘机器学习：基于分布式随机梯度下降的空中传输

本研究在有限的功率和带宽条件下，探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习，提出了 D-DSGD 和 A-DSGD 两个方法，其中 A-DSGD 采用了一项新颖的模拟方案，比 D-DSGD 更快地收敛，并表现出更好的鲁棒性和可扩展性。

Jan, 2019

分布式 SGD 的截断非均匀量化

为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。

Feb, 2024

移动边缘网络中绿色联邦生成扩散的按需量化

提出了基于需求量化的移动边缘网络中的按需量化能效联合扩散方法，能够显著降低系统能耗和传输模型大小，同时有效地保持生成数据的合理质量和多样性。

Mar, 2024

强健且通信高效的协作学习

本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

Jul, 2019