在客户端上进行修剪而不是服务器：在联邦学习中加速稀疏训练
本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。
Jan, 2021
本文提出了一种称为Federated Dynamic Sparse Training（FedDST）的novel FL框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和FL性能方面具有较大的优势，在非i.i.d FL设置下，FedDST在数据传输上的表现显著优于竞争性算法。
Dec, 2021
提出了一种基于高度稀疏操作的ZeroFL框架，用于加速On-device训练，使Federated Learning能够训练高性能机器学习模型，并提高了精度。
Aug, 2022
在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。
Sep, 2022
本研究提出了一种新的通信高效的联邦学习（FL）框架FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在MNIST、FMNIST和CIFAR-10等数据集上优于目前的FL框架。
Jan, 2023
使用Salient Grads方法基于客户端数据计算模型参数显著性分数，并选择“数据感知”亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。
Apr, 2023
本文提出了一种Federated Learning的完整方法，该方法包括Local Training，Compression和Partial Participation，实现了所考虑的收敛保证的最新状态，并通过实验展示了该方法的优势。
Jun, 2023
我们引入FedComLoc算法，集成了实用和有效的压缩技术到Scaffnew算法中，以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。
Mar, 2024
SpaFL提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导SpaFL的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明SpaFL在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。
Jun, 2024