本文针对特征分布不同的联邦学习中的特征偏移问题,提出了一种名为 FRAug(联邦表示增强)的方法,利用共享的生成模型在嵌入空间生成客户特定的样本,并通过表示转换网络将嵌入转换为客户特定嵌入,使得生成的嵌入作为正则化器改善了客户的泛化性能,该方法取得了比当前非 IID 特征情况下的各种现有最先进方法更好的效果。
May, 2022
本文提出了一种名为 FedFA 的鲁棒联邦学习算法,通过运用统计学的方法对每个客户端的数据进行加强,从而解决非 i.i.d. 数据分布带来的特征偏移和本地数据偏差问题。
Jan, 2023
在联邦学习领域,解决非独立同分布的数据问题一直是提高全局模型性能的一个重要挑战。本文提出了特征范数正则化联邦学习(FNR-FL)算法,通过独特地结合类平均特征范数来增强在非独立同分布场景下的模型准确性和收敛性。我们的综合分析发现,相比其他现代联邦学习算法,FNR-FL 不仅加快了收敛速度,而且在特征分布不均衡的情况下显著提高了测试准确率。FNR-FL 的新颖模块化设计使其能与现有的联邦学习框架无缝集成,增强了其适应性和广泛应用的潜力。我们通过严格的实证评估确证了我们的论述,展示了 FNR-FL 在各种不均衡数据分布下的出色性能。相较于 FedAvg,FNR-FL 的准确率提升了 66.24%,训练时间显著减少了 11.40%,凸显了其提高效果和效率的优势。
Dec, 2023
通过提出一种被称为联邦特征蒸馏(FedFed)的新方法,本研究肯定了通过共享部分数据特征来解决数据异质性,并在全球范围内共享性能敏感的特征以减轻数据异质性的可能性。
Oct, 2023
分布式学习的一种新方法 Gen-FedSD,通过利用最先进的文本到图像模型框架来解决非独立同分布数据在分布式学习中的性能下降问题。
May, 2024
基于数据异构和模型异构的联邦学习场景中,使用无数据的知识蒸馏机制提出了 DFRD 方法,在服务器上通过条件生成器逼近客户端上传的本地模型训练空间,并通过动态加权和标签采样准确提取本地模型的知识,实验证明 DFRD 相较于基准模型取得了显著的性能提升。
Sep, 2023
本文提出了一种新的框架 DisTrans,通过训练和测试时间的分布变换以及双输入通道模型结构来优化每个客户端的分布式偏移和模型,从而在面对不同程度的数据异质性时,提高联邦学习(FL)性能,评估结果表明,DisTrans 在多个基准数据集上的表现超越了其他现有方法。
Oct, 2022
本文提出了 FLRA 框架,该框架可以应对联邦学习中用户间分布的移位问题。通过优化方法和梯度下降和上升(GDA)方法,解决了 FLRA 的分布式极小极大化问题。此外,通过实验结果,证明了该算法相比于标准的联邦学习和对抗训练方法,能够显著提高效果。
Jun, 2020
本研究提出了一种名为 FedBN 的有效方法,该方法使用本地批量归一化来减轻特征转移非独立同分布问题,并优于现有算法,促进联邦学习的收敛性。
Feb, 2021
该研究论文介绍了一种用于保护隐私的联邦学习领域的数据增强方法,称为邻域特征级数据增强,该方法能够有效解决不同医学研究机构之间的数据分布差异和局部特征偏移问题,可在 3D 脑肿瘤和心脏分割任务中取得显著改进。