面向个性化联邦学习的参数化知识传递

Nov, 2021

面向个性化联邦学习的参数化知识传递

Parameterized Knowledge Transfer for Personalized Federated Learning

Jie Zhang, Song Guo, Xiaosong Ma, Haozhao Wang, Wencao Xu...

TL;DR提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制，并使用参数化群体知识转移训练算法来使客户端间自适应强化协作，从而实现个性化模型训练，并与现有方法进行比较得到显著的性能提升。

Abstract

In recent years, personalized federated learning (pFL) has attracted increasing attention for its potential in dealing with statistical heterogeneity among clients. However, the state-of-the-art pFL methods rely on model parameters aggregation at the server side, which require all mode

personalized federated learning heterogeneous model settings knowledge transfer collaboration performance gain

发现论文，激发创造

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

个性化联邦学习基于堆叠

使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

Apr, 2024

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

部分个性化联邦学习：打破数据异构的诅咒

本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

May, 2023

个性化联邦学习与图形

本文提出了一种基于图结构的结构化联邦学习框架（SFL），通过使用客户端之间的关系图形信息来加强 PFL 中的知识共享过程，并能够同时学习全局和个性化模型。SFL 可扩展到学习客户之间的隐藏关系，并证明了其在交通和图像基准数据集上的有效性。

Mar, 2022

面向用户的联合学习：以个性化为代价进行无线资源交换

本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

Apr, 2023

个性化联邦学习中基于能力异质性的选择性知识共享

Pa3dFL 是一个增强容量异构模型的新型框架，通过解耦和选择性地在容量异构模型之间共享知识，提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数，并保持通用参数在客户端之间的统一大小并进行直接平均聚合，然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数，最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验，我们的研究结果表明 Pa3dFL 在不同的异构设置下始终优于基准方法。此外，与基准方法相比，Pa3dFL 表现出竞争性的通信和计算效率，突显了它在不利系统条件下的实用性和适应性。

May, 2024