FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习
提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法 (pFedSim),在保护数据隐私的前提下,显著提高模型精度且计算和通信开销低。
May, 2023
提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES),该方法在不同客户端的本地模型中引入小型同质特征提取器,通过迭代学习方法进行训练,实现全局泛化知识和本地个性化知识的交换和共享,其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中,与六种最先进的方法相比,pFedES 构建了最准确的模型,同时通信和计算成本较低,与最佳基准相比,测试准确性提高了 1.61%,通信和计算成本分别降低了 99.6% 和 82.9%。
Nov, 2023
本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP,该方法使用动态序列 - 并行协作训练的新概念,通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异,增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配,该算法利用重心等价定理简化 NP 难问题,实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7%的准确率,并将训练时间和通信成本降低了 90%以上。
Jan, 2022
研究个性化联邦学习中如何利用服务器数据来提高 meta-gradient 计算以增加个性化性能的 FedSIM 方法,并通过各种基准测试和消融实验证明其优于现有方法,不仅计算效率更高,而且收敛速度高达 34.2%。
May, 2022
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
基于模型异构的个性化联邦学习通过自适应特征混合(pFedAFM)实现了训练不同结构个性化模型的联邦学习客户端,以应对非独立同分布的本地数据。
Apr, 2024
提出一种名为 pFedGate 的方法,通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习,并通过轻量级可训练的门控层使客户端生成不同的稀疏模型,同时考虑到异构的数据分布和资源限制,实现了计算和通信的效率提高,理论上的收敛性和泛化误差更优越,实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率,并能够适应不同的数据分布。
May, 2023
本文提出了一个高性能和高效的系统 HFEDMS,用于将实践的 Federated Learning 纳入工业元宇宙,克服了非独立和非同分布数据、学习遗忘和通信成本等挑战,通过动态分组和训练模式转换、语义压缩和补偿以及层间备用同步协议等技术,使得 FL 更加适应于工业设备连续产生的异构流数据,并且比传统方法更加高效和精确。
Nov, 2022
本研究提出一种新方法来解决联邦学习中的问题,并在本文所述的公开基准数据集(如 Femnist)以及自己收集的数据集(即流量分类)上验证了该方法的有效性,结果表明这种方法在极端情况下具有显著的优势。
Nov, 2020
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024