基于动态更新和自适应修剪的高效联邦学习
提出一种新的联邦学习框架,通过发送全局梯度估计的加速模型来引导本地梯度更新,从而改进了服务器端聚合步骤的稳定性,实现了自然聚合和传递全局更新信息,同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究,证明了所提方法在精度和通信效率方面相对于现有方法的显着性能,尤其是在低客户端参与率下。
Jan, 2022
通过引入余弦相似性惩罚,FedCos减少了本地模型的方向不一致性,并且可以自适应于各种非IID设置,提高了通信效率,并且在不同的 FL 场景下表现出了优异性能,包括减少通信轮数等。
Apr, 2022
本文提出了FedDUAP这样一种基于Federated Learning的框架,采用动态服务器更新算法和适应不同层次维度以及重要性的剪枝方法,可显著提高训练精度(高达4.8%)、效率(高达2.8倍)和计算成本(高达61.9%),并克服了Federated Learning存在的有限计算资源和低训练效率的两个主要挑战。
Apr, 2022
通过利用全局梯度下降和本地自适应修正优化器,提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上,我们在部分参与设置下建立了FedLADA的收敛速度与线性加速特性。此外,我们在真实世界的数据集上进行了广泛的实验,证明了我们所提出的FedLADA的有效性,它可以大大减少通信轮数,并且比几个基准模型达到更高的准确性。
Jul, 2023
Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.
Jul, 2023
FedALIGN是一种选择参与联邦学习的非优先客户的匹配策略,基于他们的模型损失与全局数据的相似程度,以确保只有在对优先客户有益时才使用非优先客户的梯度,从而实现非优先客户的加入动机和优先客户的资源利用,且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。
Oct, 2023
通过新型分析模型和优化算法,本文研究了联邦学习中批大小和聚合频率的相互作用对收敛性、成本和完成时间之间的权衡,并设计了一种高效的批配置算法。实验结果表明,该方法在离线和在线情况下均具有优越性。
Oct, 2023
FedCAda是一种创新的联邦客户自适应算法,利用Adam算法在客户端调整一阶矩估计$m$和二阶矩估计$v$的修正过程,并在服务器端聚合自适应算法参数,以加快收敛速度和通信效率,同时确保稳定性和性能,该算法在计算机视觉(CV)和自然语言处理(NLP)数据集上的广泛实验表明,它在适应性、收敛性、稳定性和整体性能方面优于现有方法。
May, 2024
FedMap是一种新颖的方法,通过协作学习逐渐稀疏全局模型,从而提高联邦学习系统的通信效率,适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型,以减少通信开销,避免了参数重新激活问题,实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能,并相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024