May, 2023

基于稀疏模型自适应的高效个性化联邦学习

HTML
PDF
TL;DR提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。
发现论文，激发创造
  • 使用超网络进行个性化联邦学习

    本文提出了一种基于超网络的个性化联邦学习方法pFedHN，该方法可以协同训练多个客户端的个性化模型，在考虑数据分布差异和减少通信成本的同时实现有效的参数共享，并在多个个性化联邦学习挑战中得到了很好的表现。

    Mar, 2021

  • 个性化高斯过程联邦学习

    pFedGP基于高斯过程和深层核学习，旨在解决在低数据环境下学习跨客户有效性的挑战，通过学习跨客户的共享核函数以及个性化的GP分类器，在多个基准测试中实现了高度准确的状态，并在可靠性方面显着优于基准方法。

    Jun, 2021

  • 使用稀疏本地模型实现个性化联邦学习

    本论文提出一种名为FedSpa的新型PFL方案，它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型，理论和实验表明，FedSpa不仅节省了通信和计算成本，而且在模型准确性和收敛速度方面表现优异。

    Jan, 2022

  • DisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习

    提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。

    Jun, 2022

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为pFedBreD的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用Bregman散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD显著优于其他个性化联合学习算法。

    Nov, 2022

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为DFedAlt的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • pFedSim: 面向个性化联邦学习的相似性感知模型集成

    提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法(pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。

    May, 2023

  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • pFedES: 模型异构个性化的联邦学习与特征提取器共享

    提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了1.61%，通信和计算成本分别降低了99.6%和82.9%。

    Nov, 2023

  • pFedAFM：异构联邦学习中基于批次的个性化自适应特征混合

    基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

    Apr, 2024