Mar, 2024
基于剪枝和恢复的联邦学习
Federated Learning based on Pruning and Recovery
TL;DR在异构环境中,提出了一种新颖的联邦学习训练框架,考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术,有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题,同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小,该框架加快了模型训练速度,同时保留了模型准确性。此外,还引入了改进的联邦学习聚合过程,包括缓冲机制,使异步联邦学习能够像同步学习一样进行操作。另外,在服务器向客户端传输全局模型的过程中进行了优化,减少了通信开销。我们在各种数据集上的实验表明:相对于传统的异步联邦学习和异构联邦学习,我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进;我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。