Nov, 2023
DAGC：面向移动计算的分布式机器学习数据容量感知自适应稀疏梯度压缩
DAGC: Data-Volume-Aware Adaptive Sparsification Gradient Compression for
Distributed Machine Learning in Mobile Computing
TL;DR在移动环境中，分布式机器学习面临着严重的通信瓶颈问题。梯度压缩已成为解决此问题的有效方法，在带宽有限和流量计费等环境中可以提供显著的好处。然而，在非IID环境中，由于一种适用于所有数据的压缩方法，它们遭遇到严重的性能下降。为具有不同数据分布和数据量的工作节点分配不同的压缩率因此是一个有前景的解决方案。本研究介绍了一种使用非均匀压缩的分布式SGD分析方法，揭示了收敛速率（指实现某个准确度所需的迭代次数）受应用于具有不同数据量的节点的压缩率的影响。因此，我们将相对压缩率分配作为一个$n$个变量卡方非线性优化问题进行建模，并在通信开销有限的约束下进行求解。我们提出了DAGC-R方法，将具有较大数据量的节点分配保守的压缩率。鉴于移动设备的计算能力有限，我们还提出了DAGC-A方法，在非均匀数据分布的场景中具有较低的计算需求，并提高了绝对梯度压缩器的鲁棒性。实验证明，DAGC-A和DAGC-R在处理高度不平衡的数据量分布和受限通信时能够获得更好的性能。