Jul, 2023

UPFL：面向新客户的无监督个性化联邦学习

HTML
PDF
TL;DR在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法FedTTA。我们通过使用代理正则化和熵提前停止调整来改进FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对FedTTA设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的FedTTA及其变种的有效性。
发现论文，激发创造
  • 个性化联邦学习与一阶模型优化

    本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

    Dec, 2020

  • 基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

    本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。

    May, 2021

  • 具有服务器端信息的个性化联邦学习

    研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法，并通过各种基准测试和消融实验证明其优于现有方法，不仅计算效率更高，而且收敛速度高达34.2％。

    May, 2022

  • 可信个性化联邦学习：基于变分期望最大化的方法

    本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法，引入全局模型作为潜在变量，以捕捉不同客户端之间的公共趋势，使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估，进而对客户端参数进行加权，优化全局模型的正则化效果，在多个数据集上进行了大量实证研究并证明了其优越性。

    May, 2023

  • 部分个性化联邦学习：打破数据异构的诅咒

    本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

    May, 2023

  • PRIOR: 个性化先验用于再激活在联邦学习中被忽视的信息

    提出了一种新颖的个性化联邦学习方案，通过向每个客户端的全局模型注入个性化先验知识来减轻个性化联邦学习中引入的不完整信息问题，在个性化场景中具有更大的适应性，通过收敛分析和大量实验结果验证了该方法的鲁棒性和必要性。

    Oct, 2023

  • PPFL: 面向异构人群的个性化联邦学习框架

    在本文中，我们基于联邦学习的范式，通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好，开发了一个灵活且可解释的个性化框架 PPFL（Population Personalized Federated Learning），并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系，证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL（一个非凸约束优化问题）并给出了收敛性质。通过在病理数据集和实际数据集上进行实验，结果验证了 PPFL 的有效性。

    Oct, 2023

  • 客户监督的联邦学习：朝着通用个性化模型

    通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的/测试客户端达到与个性化模型相当的性能。

    Mar, 2024

  • 通过子网络实现个性化热身以增强异构联邦学习

    本研究解决了异构联邦学习中的数据异质性对收敛性造成的显著障碍。我们提出了一种个性化热身阶段，通过学习个性化掩码并只更新全模型的子网络，从而帮助参与者专注于适应数据异质性的特定子网络。实证结果表明，该方法在准确性和收敛速度上均优于标准的联邦优化方法。

    Oct, 2024

  • FedReMa：通过利用最相关的客户来改善个性化联邦学习

    本研究针对个性化联邦学习中的类别不平衡问题，提出了一种新的高效算法FedReMa。该算法通过自适应的客户间共学习方法和多样的聚合策略，有效利用不同客户在不同数据类上的专业知识，从而显著提升个性化模型的精度。实验结果表明，FedReMa在解决数据异质性挑战方面具有显著优势。

    Nov, 2024