聚类联邦学习中基于客户端数据子空间主角之间的高效分布相似性识别

Sep, 2022

聚类联邦学习中基于客户端数据子空间主角之间的高效分布相似性识别

Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces

PDF

Saeed Vahidian, Mahdi Morafah, Weijia Wang, Vyacheslav Kungurtsev, Chen Chen...

TL;DR本文提出了一种新的聚类联邦学习方法，通过分析客户端数据子空间之间的主角度直接快速识别客户端之间的分布相似性，从而形成聚类，从而有效解决了数据异质性问题。

Abstract

clustered federated learning (FL) has been shown to produce promising results by grouping clients into clusters. This is especially effective in scenarios where separate groups of clients have significant differences in the distributions of their local data. Existing clustered FL algor

clustered federated learning distribution similarities principal angles svd data heterogeneity

发现论文，激发创造

隐私保护分布式 SVD 的联邦功率方法

通过 Federated Learning 框架的机制，我们提出了一种叫做 FedPower 的算法以支持现代设备用户集体学习中的部分奇异值分解。该算法通过多个本地迭代和全局聚合的替换，以改进通信效率，并解决了用户数据隐私保护的问题。

Mar, 2021

FedSiKD: 应对非 i.i.d 和约束的联邦学习中的客户相似性和知识蒸馏

FedSiKD 是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集，FedSiKD 相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了 17% 和 20% 的准确率，展现了其早期学习的能力。代码已公开并托管在 GitHub 上。

Feb, 2024

聚类抽样：联邦学习中客户选择的低方差和改进的代表性

本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。

May, 2021

有效的半监督异构参与者联邦学习

在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

Jul, 2023

稀疏主成分分析的联邦学习

在机器学习领域中，数据质量和可用性经常限制算法的有效性。传统方法由于法律和隐私问题而遭遇数据共享困境。联邦学习框架应对了这个挑战，通过在客户端上进行模型训练，保护隐私并保持数据局部化。本研究将联邦学习框架应用于稀疏主成分分析（SPCA），通过添加平滑函数和最小二乘逼近改进了 SPCA 的计算效率，并以一致性优化问题的形式在联邦框架中解决 SPCA，验证了我们方法的有效性。

Nov, 2023

跨组织边缘学习中协作结构优化

本文提出了 FedCollab，一种基于数据分布距离和数据数量对客户端进行聚类的新型联邦学习框架，可以有效地减轻负面转移问题，并在各种 FL 算法中始终优于其他聚类 FL 算法。

Jun, 2023

精准聚类联邦学习的联合 cINN 聚类

我们提出了一种名为 FCCA 的联邦 cINN 聚类算法，通过将客户端的私有数据转换为多元高斯分布，学习编码的潜在特征，以达到客户端聚类和改善全局模型性能的目的。实验结果表明，FCCA 在各种模型和数据集上的性能优于其他最先进的集群联邦学习算法，表明我们的方法在提高现实世界中联邦学习任务的效率和准确性方面具有巨大的潜力。

Sep, 2023

异质特征空间个性化联邦学习

提出一种名为 FLIC 的通用框架，通过本地嵌入功能将客户端数据映射到公共特征空间，使用 Wasserstein barycenters 学习公共特征空间，通过分布对齐机制将本地嵌入函数集成到联邦学习中，并提供 FLIC 的算法，与涉及异构输入特征空间的 FL 基准进行性能比较，同时提供支持我们方法相关性的理论见解。

Jan, 2023

一种面向个性化联邦学习的联盟形成博弈方法

本文使用合作博弈理论中的 Shapley 值，提出了一种新的个性化联邦学习算法 pFedSV，它可以识别每个客户端的最佳合作者并基于 Shapley 值进行个性化模型聚合，实验结果表明相比于现有技术，该算法能够显著提高客户端的个性化准确度。

Feb, 2022

异构联邦学习的简化聚类解决方案

解决联邦学习中在高度异构的客户分布下取得良好性能的挑战，文章提出了用于解决这种矛盾的 Simplex 集群联邦学习方法（SosicFL）。通过将一个 Simplex 的子区域分配给每个客户端，并进行联邦学习来学习一个共同的解 Simplex，SosicFL 允许客户端模型在解 Simplex 的自由度内具有各自的特点，并同时实现学习一个全局共同模型的目标。我们的实验表明，SosicFL 提高了全局和个性化联邦学习的性能，并加速了训练过程，而计算开销很小。

Mar, 2024