通信高效的联邦学习时间相关稀疏化

Jan, 2021

通信高效的联邦学习时间相关稀疏化

Time-Correlated Sparsification for Communication-Efficient Federated Learning

Emre Ozfatura, Kerem Ozfatura, Deniz Gunduz

TL;DR本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Abstract

federated learning (FL) enables multiple clients to collaboratively train a shared model without disclosing their local datasets. This is achieved by exchanging local model updates with the help of a parameter server (PS). However, due to the increasing size of the trained models, the

federated learning sparse communication time-correlated sparsification test accuracy communication load

发现论文，激发创造

互补稀疏化：面向联邦学习的低开销模型剪枝

提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

Mar, 2023

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

Jun, 2024

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练

使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。

Apr, 2023

稀疏化和量化的高效异步联邦学习

基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练，实验结果显示 TEASQ-Fed 提高了准确性（高达 16.67%）且加快了模型训练（最多两倍速）。

Dec, 2023

压缩感知的无线联邦学习：是否需要稀疏化？

通过比较不同通信设计的效果，研究发现，在相同总功率约束下，压缩感知方法配合稀疏化并不必要，而仅进行稀疏化而不使用线性压缩能够更好地提高性能。

Oct, 2023

稀疏训练与正则化误差修正的联邦学习

本文介绍了一种名为 FLARE 的新算法，通过对嵌入在 FL 过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE 的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的 10 倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。

Dec, 2023

用于快速且通讯高效的联邦学习自适应差分滤波器

本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

Apr, 2022

非独立同分布数据上健壮且高效的联邦学习

本研究提出了 Sparse Ternary Compression (STC)，一种针对 Federated Learning 环境的新型压缩框架。实验表明，STC 在常见 Federated Learning 场景下，即使客户端持有非 iid 数据、使用小的 batch size 进行训练或参与率较低，也比 Federated Averaging 表现更佳。此外，即使客户端持有 iid 数据并使用中等大小的批次进行训练，STC 仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了 Federated Averaging。

Mar, 2019

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024