FedClust: 通过权重驱动的客户端聚类优化非 IID 数据上的联邦学习

Mar, 2024

FedClust: 通过权重驱动的客户端聚类优化非 IID 数据上的联邦学习

FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering

Md Sirajul Islam, Simin Javaherian, Fei Xu, Xu Yuan, Li Chen...

TL;DRFedClust 是一种聚类联邦学习方法，利用局部模型权重和客户数据分布之间的相关性将客户分组成簇，并动态地实时适应新加入的客户，实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。

Abstract

federated learning (FL) is an emerging distributed machine learning paradigm enabling collaborative model training on decentralized devices without exposing their local data. A key challenge in FL is the uneven data dis

federated learning uneven data distribution clustered federated learning fedclust communication costs

发现论文，激发创造

随机聚合联邦学习

本文提出了一种针对非独立同分布问题的新型聚类联邦学习方法 StoCFL，它实现了一种灵活的 CFL 框架，支持不同比例的客户端参与和新客户端加入，而且在保持模型性能的同时获得了良好的聚类结果。

Mar, 2023

聚类联邦学习：在隐私约束下的模型无关分布式多任务优化

本研究提出了一种基于聚类的联邦多任务学习框架（Clustered Federated Learning），可在保持数据隐私性的同时，更好地解决联邦学习中本地数据分布不同的问题，并在深度卷积和循环神经网络上进行实验证明了其有效性。

Oct, 2019

利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

Apr, 2020

FedAC：一种适应性聚类的异构数据联邦学习框架

在本文中，我们提出了一种自适应的聚类联邦学习框架，名为 FedAC，它通过解耦神经网络并为每个子模块使用不同的聚合方法，有效地将全局知识融合到簇内学习中，同时采用一种经济高效的在线模型相似度度量基于降维技术，以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明，相较于现有方法，FedAC 在不同的非独立同分布设置下，CIFAR-10 和 CIFAR-100 数据集的测试准确率分别提高了约 1.82% 和 12.67%。

Mar, 2024

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

实时找到最佳任务分配：面向分簇联邦学习的整体框架

通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

Oct, 2023

联邦学习能找到有益的朋友

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024

DCFL：非独立同分布感知数据压缩辅助联邦学习

分散式学习模式下的联邦学习存在数据分布不同的挑战，本论文提出了使用数据压缩和核对齐方法的 DCFL 算法，以解决该挑战，并在多个基准测试中展示了竞争性性能。

Dec, 2023

高效数据标注赋能硬件网络：一种聚类联邦半监督学习方法

在集群联邦多任务学习 (CFL) 中，针对多个用户间的非独立同分布 (non-IID) 数据的统计挑战，Clustered Federated Semi-Supervised Learning (CFSL) 应用于更真实的分层无线网络 (HWN) 场景，通过引入适用于生成准确伪标签的专门模型算法，显著改善了测试准确性、标注准确性和标注延迟等关键指标，以适应数据的非独立同分布性质和无线边缘网络的独特特点。

Jan, 2024

利用群组并行联邦学习提升客户参与度

通过将网络划分为较小的分区或队列，CPFL 提出了一种新的学习方法，其中每个队列独立地使用 FL 来培训全局模型，直到收敛，然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行实际追踪和非 IID 数据分布的详细实验，研究了队列数量、模型准确性、训练时间、计算和通信资源之间的平衡。与传统 FL 相比，CPFL 在拥有四个队列、非 IID 数据分布和 CIFAR-10 的情况下，减少了约 1.9 倍的训练时间和约 1.3 倍的资源使用，只有微小的测试准确率下降。

May, 2024