异构联邦学习的简化聚类解决方案

Mar, 2024

异构联邦学习的简化聚类解决方案

Solution Simplex Clustering for Heterogeneous Federated Learning

Dennis Grinwald, Philipp Wiesner, Shinichi Nakajima

TL;DR解决联邦学习中在高度异构的客户分布下取得良好性能的挑战，文章提出了用于解决这种矛盾的 Simplex 集群联邦学习方法（SosicFL）。通过将一个 Simplex 的子区域分配给每个客户端，并进行联邦学习来学习一个共同的解 Simplex，SosicFL 允许客户端模型在解 Simplex 的自由度内具有各自的特点，并同时实现学习一个全局共同模型的目标。我们的实验表明，SosicFL 提高了全局和个性化联邦学习的性能，并加速了训练过程，而计算开销很小。

Abstract

We tackle a major challenge in federated learning (FL) -- achieving good performance under highly heterogeneous client distributions. The difficulty partially arises from two seemingly contradictory goals: learni

federated learning heterogeneous client distributions solution simplex clustered federated learning learning solution simplices global and personalized fl

发现论文，激发创造

有效的半监督异构参与者联邦学习

在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

Jul, 2023

异质特征空间个性化联邦学习

提出一种名为 FLIC 的通用框架，通过本地嵌入功能将客户端数据映射到公共特征空间，使用 Wasserstein barycenters 学习公共特征空间，通过分布对齐机制将本地嵌入函数集成到联邦学习中，并提供 FLIC 的算法，与涉及异构输入特征空间的 FL 基准进行性能比较，同时提供支持我们方法相关性的理论见解。

Jan, 2023

高效异构联邦学习：一种基于匹配和分割学习的方法

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

实时找到最佳任务分配：面向分簇联邦学习的整体框架

通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

Oct, 2023

快速异构联邦学习与混合客户端选择

本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题，并提出了一种基于聚类的客户端选择方案，通过方差约减来加速参与方的收敛速度。实验结果表明，该方案的效率超过了其他替代方案。

Aug, 2022

通过异质性引导的客户抽样加速非独立同分布联合学习

提出了 HiCS-FL（通过层次聚类抽样的联邦学习）作为一种新的客户端选择方法，其通过客户端的网络输出层更新来估计客户端数据的统计异质性，并依赖这些信息对客户端进行聚类和抽样，从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。

Sep, 2023

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

Apr, 2020

基于分组串并训练的异构联邦学习

本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

Jan, 2022