通过本地自我正则化实现对抗噪声标签的联邦学习
FLR 是一种创新策略,通过生成新的伪标签并将本地和全局模型的预测相结合,有效地应对联邦学习中的标签噪声问题,提高全局模型在不同设置下的准确性并防止记忆嘈杂的标签,从而改善在标签准确性有误的 FL 环境中的泛化能力。
Feb, 2024
本篇论文提出了一种名为 FedCNI 的方法,通过使用噪声鲁棒局部求解器和强健的全局聚合器,在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战,并在混合异构 FL 场景中实现了比现有技术更好的性能。
Apr, 2023
本文针对联邦学习中数据标签噪声的影响,在 MNIST 和 CIFAR-10 数据集上进行了实验和理论分析,发现标签噪声会导致全局模型的准确度线性下降、训练收敛速度变慢且容易过拟合。
Nov, 2022
本文提出了一种名为 FedCorr 的多阶段框架,用于处理具有异构标签噪声的联邦学习,它动态识别嘈杂的客户端,基于每个样本的损失来纠正客户端中的错误标签,并增加了基于估计的本地噪声级别的自适应局部近端正则化项来应对数据异构性并提高训练稳定性。经过实验验证,它在多个噪声级别下表现出鲁棒性,大大优于现有的最新方法。
Apr, 2022
本文探讨了在联邦学习(FL)中使用用户反馈进行标记和降噪以提高 ML 模型性能的新方法,通过两个文本分类数据集的实验表明该方法在保护隐私的同时提高了模型的性能。
May, 2022
本文研究基于联邦学习的标签噪声问题,并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时,本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题,并在多个真实世界数据集上验证了其表现优于其他方法。
Jun, 2022
提出了一种新的自适应自蒸馏(ASD)正则化技术,针对联邦学习(FL)中不同客户端观察到的本地数据分布的异质性问题,在客户端上进行训练模型并适应性地调整以接近全局模型,此技术可用于现有的状态 - of-the-art FL 算法中,显著提高算法的性能。
May, 2023
本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题,通过在本地训练阶段使用生成的伪数据作为正则化器,以保护用户隐私并提高算法的收敛速度。
Mar, 2022
提出了一种新的联邦学习方案,其中服务器与本地模型合作,通过交换类别的中心来保持一致的决策边界,实现了在网络中使用带有给定噪声的标签的一致决策边界。同时,还提出了选择有自信的样本来更新模型以及全局引导的伪标签方法来更新不自信的样本标签。在嘈杂的 CIFAR-10 数据集和 Clothing1M 数据集上的实验证明,该方法在使用有噪声的标签的联邦学习中非常有效。
Dec, 2020
本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏,利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据,显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验,证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。
Oct, 2022