FedDWA: 带有在线权重调整的个性化联邦学习

May, 2023

FedDWA: 带有在线权重调整的个性化联邦学习

FedDWA: Personalized Federated Learning with Online Weight Adjustment

Jiahao Liu, Jiang Wu, Jinyu Chen, Miao Hu, Yipeng Zhou...

TL;DR本文提出了一种名为 FedDWA 的新型 PFL 算法，它利用参数服务器计算个性化的聚合权重，以此解决了传统加权聚合方法中需要客户端下载他人模型的通信问题和数据隐私问题。最终，基于五个真实数据集的实验表明，FedDWA 可以显著降低通信负担并实现比现有方法更高的模型精确度。

Abstract

Different from conventional federated learning, personalized federated learning (PFL) is able to train a customized model for each individual client according to its unique requirement. The mainstream approach is to adopt a kind of weighted aggregation method to generate personalized m

personalized federated learning weighted aggregation data privacy parameter server optimization

发现论文，激发创造

DA-PFL：个性化联邦学习的动态亲和力聚合

我们提出了一种新颖的动态亲和力个性化联邦学习模型（DA-PFL），以减轻联邦学习过程中的类不平衡问题。通过从互补的角度构建亲和度度量，并设计动态聚合策略来减少类不平衡风险，DA-PFL 模型可以显著提高三个真实世界数据集中每个客户的准确性。

Mar, 2024

个性化联邦学习与一阶模型优化

本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

Dec, 2020

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

一种用于联邦学习的逐元素权重聚合方法

该研究介绍了一种基于元素权重聚合的联邦学习方法（EWWA-FL），旨在优化学习性能和加速收敛速度。通过将本地权重聚合到全局模型的个别元素级别，该方法允许每个参与的客户端对学习过程进行元素级贡献，从而提高了全局模型对不同数据集的鲁棒性以及实现了快速收敛。该方法具有灵活性，可以采用各种加权策略，通过全面的实验证明了 EWWA-FL 的先进性，展示了在各种骨干和基准测试中精确度和收敛速度的显著改进。

Apr, 2024

面向用户的联合学习：以个性化为代价进行无线资源交换

本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

Apr, 2023

动态个性化联邦学习与激励

本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

Aug, 2022

针对个性化联邦学习的客户正则化和类别分布聚合

个性化联邦学习中，通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法，即类别级联联邦平均（cwFedAVG），该方法在服务器端按类别执行联邦平均（FedAVG），创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布（由深度网络权重的 L2 - 范数导出），加权整合这些全局模型，避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示，cwFedAVG 可以与多个现有的 PFL 方法相媲美甚至更好。值得注意的是，cwFedAVG 在概念上简单而计算高效，通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了 cwFedAVG 如何实现了各自类别分布上的本地模型专业化，同时全局模型捕获了跨客户端的类别相关信息。

Jun, 2024

PFA：隐私保护联邦适应以实现模型有效个性化

本文介绍了一种名为 PFA 的新框架，旨在以联邦方式实现更好的个性化结果。PFA 利用神经网络的稀疏性生成隐私保护表示，并使用这些表示来高效识别具有相似数据分布的客户端，从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私，并在多个 FL 数据集上通过实验证明了其有效性和优越性。

Mar, 2021

个性化联邦学习基于堆叠

使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

Apr, 2024

联邦学习能找到有益的朋友

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024