FedFN:解决联邦学习中的数据异质性问题的特征正态化
本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。
Nov, 2021
本文提出了基于特征对齐 Fed2 的联邦学习框架,通过显式的特征分配和特征配对均值方案,解决了联邦学习过程中参数随机性造成的结构特征不匹配的问题,提高了模型的收敛性能。
Nov, 2021
本文提出了一种基于分布式学习的新型算法,能够针对数据异质性问题,有效避免因数据分布不同而导致的本地数据更新差异性,提高模型的全局收敛性和学习效率。与现有算法不同,该算法不需要维护全局状态,适用于任意数量的客户端,能够用于网络边缘设备和移动应用等更典型的应用场景。
Sep, 2022
本研究提出一种名为联邦分类器平均(FedClassAvg)的个性化联邦学习方法,通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据(non-iid)学习任务的客户端可以学习稀缺标签,同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现,相较于已有方法仅要求客户端通信少量全连接层,因此高度通信效率,而且不需要额外的优化问题和计算开销,且在异构性个性化联邦学习任务方面表现优于现有最先进算法。
Oct, 2022
提出了一种新的联邦学习方法FedIN,支持异构模型和IN训练,并通过凸优化问题解决了梯度分歧问题。实验结果表明,在异构模型环境下,FedIN相比目前先进的算法表现最佳。
Apr, 2023
本文提出了一种名为FedRDN的数据增强方法,通过将来自整个联邦系统的数据集统计注入到客户端数据中来有效改善特征分布倾斜FL的泛化,从而缓解了不同本地数据集的基础分布所导致的特征漂移问题。
Jun, 2023
通过提出一种被称为联邦特征蒸馏(FedFed)的新方法,本研究肯定了通过共享部分数据特征来解决数据异质性,并在全球范围内共享性能敏感的特征以减轻数据异质性的可能性。
Oct, 2023
在联邦学习领域,解决非独立同分布的数据问题一直是提高全局模型性能的一个重要挑战。本文提出了特征范数正则化联邦学习(FNR-FL)算法,通过独特地结合类平均特征范数来增强在非独立同分布场景下的模型准确性和收敛性。我们的综合分析发现,相比其他现代联邦学习算法,FNR-FL不仅加快了收敛速度,而且在特征分布不均衡的情况下显著提高了测试准确率。FNR-FL的新颖模块化设计使其能与现有的联邦学习框架无缝集成,增强了其适应性和广泛应用的潜力。我们通过严格的实证评估确证了我们的论述,展示了FNR-FL在各种不均衡数据分布下的出色性能。相较于FedAvg,FNR-FL的准确率提升了66.24%,训练时间显著减少了11.40%,凸显了其提高效果和效率的优势。
Dec, 2023
本研究旨在解决传统联邦学习方法未能有效应对全局长尾数据的类别偏差问题,从而导致模型在处理头类别时忽视尾类别。我们提出了一种新方法FedLF,通过自适应Logit调整、连续类中心优化和特征去相关来优化本地训练阶段,实验证明该方法能够有效缓解数据异构性和长尾分布导致的模型性能下降。
Sep, 2024
本研究针对联邦学习中客户端数据集的统计异质性问题,提出了一种名为自适应无归一化特征重校准(ANFR)的新方法。该方法结合了权重标准化和通道注意力,显著提升了模型性能,同时在隐私保护与实用性之间实现了良好平衡,为解决统计异质性提供了一种新颖且灵活的解决方案。
Oct, 2024