Dec, 2023

FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习

HTML
PDF
TL;DR提出了一种名为Federated Semantic Similarity Aggregation (FedSSA)的方法，利用语义相似性来实现FL中的知识传递，同时通过自适应参数稳定策略实现全局到局部的知识传输，从而实现更高的准确性、通信效率和计算效率。
发现论文，激发创造
  • 具有服务器端信息的个性化联邦学习

    研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法，并通过各种基准测试和消融实验证明其优于现有方法，不仅计算效率更高，而且收敛速度高达34.2％。

    May, 2022

  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • pFedSim: 面向个性化联邦学习的相似性感知模型集成

    提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法(pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。

    May, 2023

  • 个性化联邦学习中的特征对齐与分类器协作

    利用全局特征知识进行本地表示学习的显式本地-全局特征对齐，以及针对每个客户端量化分类器组合的优点，导出一个优化问题来估计最优权重，有效地处理异构数据场景。

    Jun, 2023

  • FedLoRA：具有LoRA调整的异构模型个性化联邦学习

    基于LoRA调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了1.35%，计算开销减少了11.81倍，通信成本降低了7.41倍。

    Oct, 2023

  • pFedES: 模型异构个性化的联邦学习与特征提取器共享

    提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES)，该方法在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享，其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中，与六种最先进的方法相比，pFedES构建了最准确的模型，同时通信和计算成本较低，与最佳基准相比，测试准确性提高了1.61%，通信和计算成本分别降低了99.6%和82.9%。

    Nov, 2023

  • FedMoE：模型异构个性化联邦学习中基于数据的个性化

    通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

    Feb, 2024

  • pFedAFM：异构联邦学习中基于批次的个性化自适应特征混合

    基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

    Apr, 2024

  • 个性化联邦学习与自适应特征聚合及知识转移

    本研究解决了个性化联邦学习中统计异质性对模型性能的影响，提出了一种新方法：个性化联邦学习与自适应特征聚合及知识转移（FedAFK）。该方法通过平衡全局模型知识与本地数据个性化的关系，显著提高了在非独立同分布数据上的个性化模型性能。

    Oct, 2024

  • FedReMa：通过利用最相关的客户来改善个性化联邦学习

    本研究针对个性化联邦学习中的类别不平衡问题，提出了一种新的高效算法FedReMa。该算法通过自适应的客户间共学习方法和多样的聚合策略，有效利用不同客户在不同数据类上的专业知识，从而显著提升个性化模型的精度。实验结果表明，FedReMa在解决数据异质性挑战方面具有显著优势。

    Nov, 2024