本篇研究对去中心化的 Federated Learning 中,数据长尾分布导致全局模型严重偏向于头部类别而出现的问题进行了探究和解决,提出了一种局部平衡数据集的方法,并在训练时引入了额外的分类器,同时优化分类器的平衡和全局数据分布的建模,实验证明本研究的方法在各种情况下都表现出了优异的效果。
Jan, 2023
本文针对联邦学习中数据不均衡和拜占庭节点攻击的问题,提出了一种新的两层聚合方法和智囊团概念,用于拒绝恶意模型和选出包含尾部类别数据信息的有价值模型进行全局聚合,初步实验证明智囊团对于全局聚合进行有效的模型选择。
Jul, 2023
本研究提出了一种名为 FedLoGe 的方法,通过在神经坍塌框架中集成表示学习和分类器对齐,提高了本地和通用模型的性能,从而加强了分布式长尾学习中全局模型和本地模型的表现。
Jan, 2024
本文探讨了尾部类别在几个客户端上稀疏分布的被忽视的情景,提出了一个基于功能统计的两阶段解耦合联邦学习框架(DFL-FS),用于加速收敛并提高特征学习能力,实验结果表明该方法在准确率和收敛速度上优于现有方法。
Mar, 2024
本文提出了一种新型的隐私保护联邦学习方法,通过分类器重新训练实现异构和长尾数据的隐私保护联邦特征,可在不泄露本地数据或类分布信息的情况下产生与真实数据上重新训练后的分类器相当的性能。实验结果表明,该方法是一种有效的解决方案,可在异构和长尾数据下获得有希望的联合学习模型。
Apr, 2022
MuPFL 是一种创新的个性化联邦学习框架,通过多层次结构完全利用不同层次的计算资源,解决数据异质性对模型偏差的影响,缓解过拟合、加速训练,提高分类准确性,并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。
May, 2024
深度学习和联邦学习是当前研究的重点,其中涉及隐私保护技术、隐私攻击以及隐私法规的探讨。
本文系统总结了深度长尾学习的最新进展,围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨,并通过提出的相对准确度评估指标对最先进的方法进行了实证分析,为深度长尾学习的应用和未来研究方向提供了重要的参考。
Oct, 2021
信用风险预测对商业银行和其他金融机构在授予贷款和减少潜在损失方面起着关键作用。本研究调查了联邦学习在信用风险评估中的可行性,并展示了数据不平衡对模型性能的影响。通过使用多层感知机 (MLP)、长短期记忆网络 (LSTM) 和极限梯度提升 (XGBoost) 等不同架构,以及三个不同数据集和不同场景下的数据分布配置,我们证明了联邦模型在数据集较小的非主导客户上始终优于本地模型,在高度不平衡的数据场景中平均提高了 17.92% 的模型性能,然而对于数据更多的主导客户,联邦模型可能表现出较低的性能,因此需要针对这类客户提供特殊的激励以鼓励其参与。
本文提出了一个最综合的长尾学习基准 HeroLT,其中包含 13 种最先进的算法和 6 种评估指标,旨在从数据长尾性、各种领域的数据复杂性和新任务的异构性三个方面提供长尾学习的系统视图,并对未来的研究方向进行了探讨。