分布式和联邦学习通讯压缩的不确定性原理及最优压缩器的寻找

Feb, 2020

分布式和联邦学习通讯压缩的不确定性原理及最优压缩器的寻找

Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor

PDF

Mher Safaryan, Egor Shulgin, Peter Richtárik

TL;DR探讨通信成本优化的异构和联邦学习中用于向量压缩的不确定性原理和 Kashin 压缩方案。

Abstract

In order to mitigate the high communication cost in distributed and federated learning, various vector compression schemes, such as quantization, sparsification and dithering, have become very popular. In designi

distributed learning vector compression communication cost uncertainty principle kashin compression

发现论文，激发创造

分布式和联邦学习的最优梯度压缩

通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

Oct, 2020

不定性原理与向量量化

根据不确定性原理，将框架表示转换为更强韧的 Kashin 表示法，其系数具有最小可能的动态范围，并且具有减少其系数误差的能力。

Nov, 2006

无偏压缩在分布式优化中节省通信开销的时间和程度

本文探讨了在分布式优化中，无偏压缩是否降低了总通讯成本，最终给出了条件和理论分析支持独立无偏压缩可以将总通讯成本降低到 O (根号下 min {n,kappa})。

May, 2023

关于异构数据分布式优化的通信压缩

本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

Sep, 2020

分布式随机优化中的下限与通信压缩加速算法

本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。

May, 2023

分布式学习的通信高效差错反馈

分散学习中受通信限制的算法依赖于局部更新以及压缩信号的交换，本文提出了一种新的分散、通信高效的学习方法，结合了差分量化和误差反馈，在满足低维子空间限制的前提下实现个体风险函数的最小化，实验证明在小步长且有限位数的情况下，可以实现与无压缩情况相当的性能。

Jun, 2024

压缩联邦学习：统一分析和精确保证

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

在有限通信条件下维持分布式学习和优化的线性收敛性

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

具有精确误差分布的联邦学习压缩

本文研究了在联邦学习中使用压缩和聚合方案来产生特定误差分布的方法，分析了基于分层量化实现准确误差分布的不同聚合方案，并提供了利用所提出的压缩方案在差分隐私应用中免费获得压缩的不同方法。我们的通用压缩方法可以恢复和改进具有高斯扰动的标准联邦学习方案，如 Langevin 动力学和随机平滑。

Oct, 2023

分布式优化的线性收敛算法：免费发送更少的比特！

提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。

Nov, 2020