使用超网络进行个性化联邦学习

Mar, 2021

Personalized Federated Learning using Hypernetworks

Aviv Shamsian, Aviv Navon, Ethan Fetaya, Gal Chechik

TL;DR本文提出了一种基于超网络的个性化联邦学习方法 pFedHN，该方法可以协同训练多个客户端的个性化模型，在考虑数据分布差异和减少通信成本的同时实现有效的参数共享，并在多个个性化联邦学习挑战中得到了很好的表现。

Abstract

personalized federated learning is tasked with training machine learning models for multiple clients, each with its own data distribution. The goal is to train personalized models in a collaborative way while accounting for data disparities across clients and reducing communication cos

personalized federated learning hypernetworks collaborative learning parameter sharing communication cost

发现论文，激发创造

HPN: 个性化联邦超参数优化

本文旨在解决个性化联邦超参数优化的双重挑战：处理指数级增加的搜索空间和在不影响数据隐私的情况下表征每个客户端，通过随机投影的编码生成保护客户隐私的客户端编码，并设计了一种新的机制对低保真度样本进行去偏差，使用基于客户端编码的超参数网络（HPN）在各个领域的联邦学习任务上进行广泛实验，展示了 HPN 的优越性。

Apr, 2023

基于异构模块化网络的个性化联邦学习

Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods

Oct, 2022

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

个性化联邦学习中的所需学习内容

个性化联邦学习中的数据异质性是一个重要问题，目前的方法未能根据每个本地客户端的数据特征定制合作方式，导致聚合结果不理想。为解决这一问题，我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed，使每个客户端能够自适应地选择其本地模型参数中应参与协作训练的部分。Learn2pFed 的关键创新之处在于通过算法展开方法，将每个本地模型参数的参与程度作为可学习参数进行优化。实验证明 Learn2pFed 在回归、预测和图像分类等多个任务中显著优于以往的个性化联邦学习方法。

Jan, 2024

联邦学习中的非线性融合：面向联邦领域泛化的超网络方法

提出了一种创新的基于超网络的联邦融合算法 hFedF，用于解决联邦领域泛化中个性化和泛化之间的权衡问题，并在多个案例中，在联邦领域泛化的三个常用数据集上超越强基准性能。

Feb, 2024

个性化联邦学习参数选择的贝叶斯神经网络

提出了一种个性化的联邦学习方法，在神经网络的元素级别进行个性化参数选择，利用贝叶斯神经网络和提供的不确定性来指导参数选择，实验证明该方法在多个真实数据集上优于现有基线模型。

Feb, 2024

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

本地记忆化的个性化联邦学习

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

Nov, 2021

FedL2P：个性化联邦学习

该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

Oct, 2023