本文提出了一种修改的联邦学习(FL+HC)方法,通过引入分层聚类步骤将客户端分为相似的集群,然后对这些集群进行独立并行的训练,实现在非独立同分布的数据环境下的模型训练,通过该方法可以使模型的性能、收敛速度、精度都有所提升。
Apr, 2020
本文提出名为HeteroFL的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强FL训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高FL训练的计算和通信效率。
Oct, 2020
本文探讨了无监督联邦学习的独特挑战和机遇,提出了一种基于 Lloyd 方法的一次性联邦聚类方案 k-FED,并在实验中验证了它的可行性和实用性。
Mar, 2021
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
我们介绍了一种名为FedTSDP的两阶段解耦式联邦学习算法,其中根据推理输出和模型权重两次进行客户端聚类。采用了修正的Hopkins采样来确定聚类的适时,并且使用公共未标记数据的采样权重。此外,我们开发了一种简单但有效的方法,根据不同程度的数据倾斜自适应调整个性化层。实验结果表明,我们提出的方法在IID和非IID场景下具有可靠的性能。
Aug, 2023
我们提出了一种新算法来解决复合联合学习问题,该算法通过策略性地分离近端算子和通信来管理非光滑正则化,并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外,每个工作者使用局部更新来降低与服务器的通信频率,并每次通信轮传输仅一个d维向量。我们证明了我们的算法线性收敛到最优解的邻域,并在数值实验中展示了我们算法相对于最先进的方法的优越性。
Sep, 2023
通过综合研究当前对聚类型联邦学习方法,本文提出了一个四层框架(HCFL),并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法HCFL+,通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。
Oct, 2023
在高度普及的边缘场景中,缺乏中央控制器和预定的设备连接导致了复杂的网络结构,我们提出了一种通信高效的分散式联邦学习(DFL)算法来解决由数据和不同训练历史引起的异构学习难题,研究结果表明,与竞争方法相比,我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。
Dec, 2023
FedTSA是一种针对FL系统异构性的集群两阶段聚合方法,通过根据客户端的能力进行聚类,使用传统加权平均和深度相互学习来聚合同质和异质模型,验证了FedTSA作为一种有前景的模型异构FL方法。
Jul, 2024
通过测量局部模型权重的相似性,一种名为FedClust的新型聚类联邦学习方法,通过在一个步骤中将客户端分组成簇的方式,解决了非独立同分布数据情况下不均匀数据分布导致的性能下降问题,并且相比其他最先进方法,FedClust在模型精度上提高了高达约45%,并且在收敛速度上具有显著降低的通信成本,最高可达2.7倍。