本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Jan, 2021

提出了一种基于高度稀疏操作的ZeroFL框架，用于加速On-device训​​练，使Federated Learning能够训练高性能机器学习模型，并提高了精度。

Aug, 2022

本研究提出了一种新的联邦学习框架(FedDIP)，通过动态模型修剪和错误反馈相结合的方式，来控制参数交换并实现模型稀疏化，以达到与其他模型修剪方法相媲美或更好的性能。

Sep, 2023

本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多1个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。

Sep, 2023

本文介绍了一种名为FLARE的新算法，通过对嵌入在FL过程中的累积拉取更新模型进行正则化，提供了解决过期效应并将稀疏性推向异常水平的强大解决方案。FLARE的性能通过广泛的实验验证，在不同且复杂的模型上实现了显著的稀疏水平（超过当前技术水平的10倍以上）以及明显改善的准确性。此外，还开发了一个开源软件包，以造福相关领域的研究人员和开发人员。

Dec, 2023

我们引入FedComLoc算法，集成了实用和有效的压缩技术到Scaffnew算法中，以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

边缘计算允许在边缘设备上部署人工智能和机器学习模型，它们可以从本地数据中学习并协作形成全局模型。联邦学习是一种分布式机器学习技术，旨在在保护数据隐私的同时促进此过程。本文提出了一种新方法——梯度一致性引导的联邦稀疏训练（FedSGC），它将动态稀疏训练和梯度一致性检查集成到联邦学习框架中，以解决高计算和通信成本的限制性设备、数据不同和分布不均以及解决数据中存在的局外数据等问题。我们在具有挑战性的非独立同分布环境中评估了我们的方法，并展示了它在各种场景中与最先进的联邦学习方法相比具有竞争力的准确性，同时最大程度地减少计算和通信成本。

May, 2024

基于稀疏的共享稀疏掩码（SSM）的稀疏FedAdam算法（FedAdam-SSM）在联邦学习中表现出了快速的收敛速度和较高的测试准确性。

May, 2024

该研究论文介绍了稀疏训练和加速通信在Federated Learning中的整合方法Sparse-ProxSkip，并在大量实验证明了其良好性能。

May, 2024

本研究解决了联邦学习中因本地数据统计异构性导致模型性能不佳的问题。提出的DynamicFL框架通过根据数据的统计特征动态分配通信资源，以在减少通信成本的同时提升全球模型性能。实验结果表明，与现有方法相比，DynamicFL模型准确性提高了10%，展示了其在应对数据统计异构性挑战中的适应性和有效性。

Sep, 2024