SalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练
本文提出了一种称为Federated Dynamic Sparse Training（FedDST）的novel FL框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和FL性能方面具有较大的优势，在非i.i.d FL设置下，FedDST在数据传输上的表现显著优于竞争性算法。
Dec, 2021
本研究提出了一种新的通信高效的联邦学习（FL）框架FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在MNIST、FMNIST和CIFAR-10等数据集上优于目前的FL框架。
Jan, 2023
提出了一种基于Collaborative Pruning机制的Model Pruning方法，名为Complement Sparsification(CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。
Mar, 2023
在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为“发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。
Jun, 2023
边缘计算允许在边缘设备上部署人工智能和机器学习模型，它们可以从本地数据中学习并协作形成全局模型。联邦学习是一种分布式机器学习技术，旨在在保护数据隐私的同时促进此过程。本文提出了一种新方法——梯度一致性引导的联邦稀疏训练（FedSGC），它将动态稀疏训练和梯度一致性检查集成到联邦学习框架中，以解决高计算和通信成本的限制性设备、数据不同和分布不均以及解决数据中存在的局外数据等问题。我们在具有挑战性的非独立同分布环境中评估了我们的方法，并展示了它在各种场景中与最先进的联邦学习方法相比具有竞争力的准确性，同时最大程度地减少计算和通信成本。
May, 2024
我们提出了显著稀疏联合学习（SSFL），一种用于稀疏联合学习并具有高效通信的简化方法。在非独立同分布的情况下，SSFL在训练之前利用在本地客户端数据上分别计算的参数显著性得分，并进行聚合，以确定全局掩码。在客户端和服务器之间每一轮只传递稀疏模型权重。我们通过标准的非独立同分布基准验证了SSFL的有效性，并注意到在稀疏性和准确性权衡方面有显著的改进。最后，我们在实际联合学习框架中部署了我们的方法，并报告了通信时间的改善。
May, 2024
该研究论文介绍了稀疏训练和加速通信在Federated Learning中的整合方法Sparse-ProxSkip，并在大量实验证明了其良好性能。
May, 2024
SpaFL提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导SpaFL的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明SpaFL在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。
Jun, 2024
FedMap是一种新颖的方法，通过协作学习逐渐稀疏全局模型，从而提高联邦学习系统的通信效率，适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型，以减少通信开销，避免了参数重新激活问题，实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估，证明了在IID和非IID环境下的性能，并相较于基线方法，FedMap能够达到更稳定的客户端模型性能，并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024