Nov, 2023

pFedES: 模型异构个性化的联邦学习与特征提取器共享

HTML
PDF
TL;DR提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了1.61%，通信和计算成本分别降低了99.6%和82.9%。
发现论文，激发创造
  • 个性化高斯过程联邦学习

    pFedGP基于高斯过程和深层核学习，旨在解决在低数据环境下学习跨客户有效性的挑战，通过学习跨客户的共享核函数以及个性化的GP分类器，在多个基准测试中实现了高度准确的状态，并在可靠性方面显着优于基准方法。

    Jun, 2021

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为pFedBreD的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用Bregman散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD显著优于其他个性化联合学习算法。

    Nov, 2022

  • 基于稀疏模型自适应的高效个性化联邦学习

    提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

    May, 2023

  • pFedSim: 面向个性化联邦学习的相似性感知模型集成

    提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法(pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。

    May, 2023

  • 通过异构模型重组实现个性化联邦学习

    本文提出了一种新颖的框架pFedHR，用于解决联邦学习中模型异质性的实际挑战，通过利用异构模型重组实现个性化的联邦学习，在服务器端将异构模型个性化问题看作模型匹配优化任务，自动动态生成多样、具有信息量的个性化模型，减轻了使用具有不同分布的公共数据对客户数据的不利影响，并在实验结果中显示pFedHR在三个数据集上在IID和非IID设置下优于基线方法。

    Aug, 2023

  • FedMoE：模型异构个性化联邦学习中基于数据的个性化

    通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

    Feb, 2024

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024

  • pFedAFM：异构联邦学习中基于批次的个性化自适应特征混合

    基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

    Apr, 2024

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在MNIST、FEMNIST和CRIFAR10数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 个性化联邦学习与自适应特征聚合及知识转移

    本研究解决了个性化联邦学习中统计异质性对模型性能的影响，提出了一种新方法：个性化联邦学习与自适应特征聚合及知识转移（FedAFK）。该方法通过平衡全局模型知识与本地数据个性化的关系，显著提高了在非独立同分布数据上的个性化模型性能。

    Oct, 2024