在客户端上进行修剪而不是服务器：在联邦学习中加速稀疏训练

May, 2024

在客户端上进行修剪而不是服务器：在联邦学习中加速稀疏训练

Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning

Georg Meinhardt, Kai Yi, Laurent Condat, Peter Richtárik

TL;DR该研究论文介绍了稀疏训练和加速通信在 Federated Learning 中的整合方法 Sparse-ProxSkip，并在大量实验证明了其良好性能。

Abstract

In the recent paradigm of federated learning (FL), multiple clients train a shared model while keeping their local data private. Resource constraints of clients and communication costs pose major problems for tra

federated learning sparse training communication costs accelerated communication complexity sparse-proxskip

发现论文，激发创造

SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

Apr, 2023

FedLite: 一种基于资源受限客户端的可扩展联邦学习方法

本文提出了一种使用聚类方案和梯度校正方法来压缩通信成本的分散式学习方法，经实验证明，该方法在保持精度的同时最多可实现 490 倍的通信成本降低，并且提供了可接受的性能与通信的平衡。

Jan, 2022

联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度

本文提出了 FedLin 框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin 保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

Feb, 2021

通信高效的联邦学习时间相关稀疏化

本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Jan, 2021

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

Jun, 2024

稀疏训练与正则化误差修正的联邦学习

本文介绍了一种名为 FLARE 的新算法，通过对嵌入在 FL 过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE 的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的 10 倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。

Dec, 2023

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

联邦学习中的显式个性化和本地化训练：倍增通讯加速

Scafflix 是一种新算法，它将显式个性化与本地训练有效地集成，利用这两种技术实现了双倍加速的通信，这一方法旨在实现 Federated Learning 中客户端个性化的联合学习。

May, 2023

互补稀疏化：面向联邦学习的低开销模型剪枝

提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

Mar, 2023

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023