FedClust: 通过权重驱动的客户端聚类解决联邦学习中的数据异质性
本文提出名为HeteroFL的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强FL训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高FL训练的计算和通信效率。
Oct, 2020
Cluster-driven Graph Federated Learning (FedCG) proposes a novel method for learning a central model in privacy-constrained scenarios, overcoming statistical heterogeneity by identifying domains via FL-compliant clustering, instantiating domain-specific modules, connecting them through Graph Convolutional Networks (GCNs), and learning to cluster unsupervised via teacher-student classifier-training iterations to achieve state-of-the-art results on multiple Federated Learning benchmarks.
Apr, 2021
本论文提出了一个数据异构鲁棒的联邦学习方法——FedGSP,该方法使用动态序列-并行协作训练的新概念,通过将FL客户端分配到同质组中最小化组与组之间的整体分布差异,增加并行度并通过一种新颖的Inter-Cluster Grouping (ICG)算法来辅助分配,该算法利用重心等价定理简化NP难问题,实验结果表明FedGSP相比七种现有方法平均提高了3.7%的准确率,并将训练时间和通信成本降低了90%以上。
Jan, 2022
本文提出了第一个针对不同客户的异构和相关可用性的FedAvg类FL算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed在合成数据集和实际数据集上比AdaFed和F3AST等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
本研究提出了一种新的通信高效的联邦学习(FL)框架FedCliP,采用自适应学习算法确定参与模型训练的客户端,通过优化算法减少不必要的通信开销。实验结果显示该框架在MNIST、FMNIST和CIFAR-10等数据集上优于目前的FL框架。
Jan, 2023
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
通过综合研究当前对聚类型联邦学习方法,本文提出了一个四层框架(HCFL),并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法HCFL+,通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。
Oct, 2023
FedClust是一种聚类联邦学习方法,利用局部模型权重和客户数据分布之间的相关性将客户分组成簇,并动态地实时适应新加入的客户,实验结果表明FedClust在准确性和通信成本方面优于基线方法。
Mar, 2024
在本文中,我们提出了一种自适应的聚类联邦学习框架,名为FedAC,它通过解耦神经网络并为每个子模块使用不同的聚合方法,有效地将全局知识融合到簇内学习中,同时采用一种经济高效的在线模型相似度度量基于降维技术,以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明,相较于现有方法,FedAC在不同的非独立同分布设置下,CIFAR-10和CIFAR-100数据集的测试准确率分别提高了约1.82%和12.67%。
Mar, 2024
本研究解决了联邦学习在无监督场景下的应用不足,提出了一种新颖的联邦聚类方法,实现无标签和不均匀数据分布下跨多个客户端的完整类别识别。通过设计联邦聚类逐步精炼方法(FedCRef),该方法显示出在无监督的联邦学习环境中显著提高数据表示精度的潜力。
Aug, 2024