pFedAFM:异构联邦学习中基于批次的个性化自适应特征混合
该研究提出了一种针对非IID数据的个性化联邦学习方法,使用专家混合模型来学习相似的客户,即使在病理性非IID环境中,我们的方法仍然能够比本地模型获得高达4.38%的精度优势。
Jun, 2022
本研究提出一种名为联邦分类器平均(FedClassAvg)的个性化联邦学习方法,通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据(non-iid)学习任务的客户端可以学习稀缺标签,同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现,相较于已有方法仅要求客户端通信少量全连接层,因此高度通信效率,而且不需要额外的优化问题和计算开销,且在异构性个性化联邦学习任务方面表现优于现有最先进算法。
Oct, 2022
提出一种名为 pFedGate 的方法,通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习,并通过轻量级可训练的门控层使客户端生成不同的稀疏模型,同时考虑到异构的数据分布和资源限制,实现了计算和通信的效率提高,理论上的收敛性和泛化误差更优越,实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率,并能够适应不同的数据分布。
May, 2023
提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法(pFedSim),在保护数据隐私的前提下,显著提高模型精度且计算和通信开销低。
May, 2023
本文提出了一种新颖的框架pFedHR,用于解决联邦学习中模型异质性的实际挑战,通过利用异构模型重组实现个性化的联邦学习,在服务器端将异构模型个性化问题看作模型匹配优化任务,自动动态生成多样、具有信息量的个性化模型,减轻了使用具有不同分布的公共数据对客户数据的不利影响,并在实验结果中显示pFedHR在三个数据集上在IID和非IID设置下优于基线方法。
Aug, 2023
提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES),该方法在不同客户端的本地模型中引入小型同质特征提取器,通过迭代学习方法进行训练,实现全局泛化知识和本地个性化知识的交换和共享,其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中,与六种最先进的方法相比,pFedES构建了最准确的模型,同时通信和计算成本较低,与最佳基准相比,测试准确性提高了1.61%,通信和计算成本分别降低了99.6%和82.9%。
Nov, 2023
通过引入混合专家方法,我们提出了一种新颖的模型异构个性化联邦学习算法(FedMoE),用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力,并通过信息聚合实现跨客户端的模型参数融合。
Feb, 2024
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在MNIST、FEMNIST和CRIFAR10数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
本研究解决了个性化联邦学习中统计异质性对模型性能的影响,提出了一种新方法:个性化联邦学习与自适应特征聚合及知识转移(FedAFK)。该方法通过平衡全局模型知识与本地数据个性化的关系,显著提高了在非独立同分布数据上的个性化模型性能。
Oct, 2024
本研究解决了传统联邦学习在异构客户端下训练结果不稳定的问题。提出了一种新颖的方法,将表示学习视为生成建模任务,并通过算法pFedFDA有效生成适应本地特征分布的个性化模型。通过广泛的计算机视觉基准测试,证明该方法在数据稀缺环境下显著优于现有最先进技术。
Nov, 2024