因子辅助的个性化异构数据联邦学习优化

Dec, 2023

因子辅助的个性化异构数据联邦学习优化

Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data

Feifei Wang, Huiyun Tang, Yang Li

TL;DRFederated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.

Abstract

federated learning is an emerging distributed machine learning framework aiming at protecting data privacy. data heterogeneity is one of the core challenges in →

federated learning data heterogeneity personalized federated learning fedsplit factor analysis

发现论文，激发创造

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

部分个性化联邦学习：打破数据异构的诅咒

本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

May, 2023

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

连接低损耗子空间的个性化联邦学习

本文提出了 SuPerFed 方法，该方法采用模型混合个性化联邦学习方法并在权重空间中引入本地模型和联邦模型之间的显式连接，以提高个性化性能和鲁棒性。通过对多个基准数据集的广泛实验，我们证明了该方法在现实服务中实现了一致的收益。

Sep, 2021

个性化联邦学习中的所需学习内容

个性化联邦学习中的数据异质性是一个重要问题，目前的方法未能根据每个本地客户端的数据特征定制合作方式，导致聚合结果不理想。为解决这一问题，我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed，使每个客户端能够自适应地选择其本地模型参数中应参与协作训练的部分。Learn2pFed 的关键创新之处在于通过算法展开方法，将每个本地模型参数的参与程度作为可学习参数进行优化。实验证明 Learn2pFed 在回归、预测和图像分类等多个任务中显著优于以往的个性化联邦学习方法。

Jan, 2024

高效异构联邦学习：一种基于匹配和分割学习的方法

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

具有个性化和共享组件混合的医疗联合模型

本文提出了一种新的个性化联邦学习框架来解决异构医疗数据在多个医院之间协作训练神经网络时的降级问题，并设计了差异性稀疏正则化器和降低计算成本的方法来提高计算效率，最后通过实验证明该方法可以获取最佳模型性能和高达 60％的通信效率改进。

Jun, 2023

异构网络中的联邦优化

本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

Dec, 2018