压缩联邦学习：统一分析和精确保证

Jul, 2020

压缩联邦学习：统一分析和精确保证

Federated Learning with Compression: Unified Analysis and Sharp Guarantees

Farzin Haddadpour, Mohammad Mahdi Kamani, Aryan Mokhtari, Mehrdad Mahdavi

TL;DR通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Abstract

In federated learning, communication cost is often a critical bottleneck to scale up distributed optimization algorithms to collaboratively learn a model from millions of devices with potentially unreliable or li

federated learning communication cost gradient compression local computation convergence properties

发现论文，激发创造

分布式和联邦学习的最优梯度压缩

通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

Oct, 2020

压缩梯度的分布式学习

该论文提出了一种针对大规模机器学习的分布式梯度方法的统一分析框架，通过非渐进界限来推导了几种优化算法的收敛速率和信息交换，并得到了步长的显式表达式，表征了异步度和压缩精度如何影响迭代和通信复杂性保证，数值结果证实了限制信息交换下不同梯度压缩算法的收敛性能，以及快速收敛确实是可能的。

Jun, 2018

通过平衡通信折衷来实现快速联邦学习

根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

May, 2021

在联邦学习中协调安全性和通信效率

本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

Jul, 2022

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

联邦学习中压缩通信的最优速率调适

本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

Dec, 2021

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

个性化联邦学习与通信压缩

本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。

Sep, 2022

在有限通信条件下维持分布式学习和优化的线性收敛性

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019