FLex&Chill: 通过 Logit 冷却提高本地联合学习训练
通过在客户端引入额外的私有弱学习器与本地模型组成集成模型,FedBalance 方法能够通过融合两个模型的对数几率来纠正本地模型之间的优化偏差,从而改进本地模型的优化方向,提高少数类别的分类错误处罚并降低多数类别的注意力,从而得到更好的全局模型。
Nov, 2023
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
基于 Prompt 调优和 Logit 蒸馏的参数高效统一的异构联邦学习框架 FedHPL 能够有效应对异构挑战,改善模型性能和加速训练,在多种数据集和模型设置下,性能优于当前最先进的联邦学习方法。
May, 2024
通过引入类原型相似度蒸馏算法 (FedCSD) 解决联邦学习中的客户端漂移和灾难性遗忘问题,实验证明它在各种异构环境下优于现有的联邦学习方法。
Aug, 2023
本文提出了一种新的联邦学习范例,名为联邦互助学习(FML),以处理三种不同类型的异质性,允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。
Jun, 2020
联邦学习是一种机器学习方法,可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练,而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题,并探索了目前设计用于解决这些挑战的算法。
Jan, 2024
本文介绍了 LHD 的一个解决方案,名为 FatCC,通过在 local adversarial updates 过程中对 logit 进行校准,以及引入 feature contrast 的全球对齐术语,从 logit 和 feature 两个角度进一步改善联合对抗训练的稳健性和准确性。实验结果表明,与其他基线相比,FatCC 在 clean accuracy 和 robust accuracy 方面取得了可比或更高的性能提升。
Apr, 2024
本文通过对三个数据集上的不同统计异质性水平进行的联邦学习训练参数和聚合器的经验分析,提出了一种系统的数据分区策略来模拟不同统计异质性水平,并引入了一种衡量独立同分布程度的度量标准。此外,还基于不同特征的数据集,实证确定了最佳的联邦学习模型和关键参数。最终,我们针对不同独立同分布程度和数据集提出了优化模型性能的联邦学习参数和聚合器的推荐指南。
Jun, 2024
针对联邦学习中参与者局部利益与数据准确度不匹配的问题,本文提出并比较了三种本地适应技术,并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为:微调、多任务学习和知识蒸馏。我们的实验结果表明,所有参与者都从本地适应中受益,并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。
Feb, 2020