FedDiv: 面向带有噪声标签的联邦学习的协作性噪声过滤

AAAIDec, 2023

FedDiv: 面向带有噪声标签的联邦学习的协作性噪声过滤

FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels

Jichang Li, Guanbin Li, Hui Cheng, Zicheng Liao, Yizhou Yu

TL;DRFedDiv 提出了一种全局噪声滤波器和一种基于预测一致性的采样器来提高联邦学习中的训练稳定性并解决噪声标签的问题。在 CIFAR-10、CIFAR-100 和 Clothing1M 数据集上进行的实验表明，FedDiv 在不同噪声标签设置下，针对 IID 和 non-IID 的数据分区，都比最先进的 F-LNL 方法达到更优秀的性能。

Abstract

federated learning with noisy labels (F-LNL) aims at seeking an optimal server model via collaborative distributed learning by aggregating multiple client models trained with local noisy or clean samples. On the

federated learning noisy labels label noise filtering training stability predictive consistency based sampler

发现论文，激发创造

联邦噪声客户端学习

本文通过研究噪声客户端带来的问题，并量化了其对不同层学习的影响，提出了一种名为 Fed-NCL 的框架来进行鲁棒性联邦学习，并通过鲁棒的层级聚合和标签修正来解决由噪声客户端引起的数据异质性问题，实验结果表明，该算法提高了带有噪声客户端的各种最新系统的性能。

Jun, 2021

无噪音异构客户端的联邦学习谨慎学习

本篇论文提出了一种名为 FedCNI 的方法，通过使用噪声鲁棒局部求解器和强健的全局聚合器，在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战，并在混合异构 FL 场景中实现了比现有技术更好的性能。

Apr, 2023

通过负蒸馏实现具有极度噪声客户端的联邦学习

通过负抽取方法，利用带有噪声数据的客户端训练模型，并在知识蒸馏中使用伪标签提高模型的可信度，通过负抽取的模型聚合方法提高联邦学习系统的性能。

Dec, 2023

FedCorr: 多阶段联合学习进行标签噪音校正

本文提出了一种名为 FedCorr 的多阶段框架，用于处理具有异构标签噪声的联邦学习，它动态识别嘈杂的客户端，基于每个样本的损失来纠正客户端中的错误标签，并增加了基于估计的本地噪声级别的自适应局部近端正则化项来应对数据异构性并提高训练稳定性。经过实验验证，它在多个噪声级别下表现出鲁棒性，大大优于现有的最新方法。

Apr, 2022

FedNoRo: 解决类别不平衡和标签噪声异质性的噪声鲁棒联邦学习

本研究提出了一种名为 FedNoRo 的框架，用于应对医疗场景下的分类不平衡和标签噪声异质性问题，其中第一阶段使用高斯混合模型进行噪声客户端识别，第二阶段结合知识蒸馏和距离感知聚合函数用于噪声鲁棒联邦模型更新，实验结果表明 FedNoRo 优于现有研究在应对实际场景中的类不平衡和标签噪声的能力。

May, 2023

通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

Jun, 2023

带有噪声标签的鲁棒联邦学习

提出了一种新的联邦学习方案，其中服务器与本地模型合作，通过交换类别的中心来保持一致的决策边界，实现了在网络中使用带有给定噪声的标签的一致决策边界。同时，还提出了选择有自信的样本来更新模型以及全局引导的伪标签方法来更新不自信的样本标签。在嘈杂的 CIFAR-10 数据集和 Clothing1M 数据集上的实验证明，该方法在使用有噪声的标签的联邦学习中非常有效。

Dec, 2020

量化标签噪声对联邦学习的影响

本文针对联邦学习中数据标签噪声的影响，在 MNIST 和 CIFAR-10 数据集上进行了实验和理论分析，发现标签噪声会导致全局模型的准确度线性下降、训练收敛速度变慢且容易过拟合。

Nov, 2022

具有实例相关噪声标签的联邦学习

该研究讨论了在联邦学习中处理有噪标签的困难以及实例相关噪声的更具挑战性问题，提出了一种名为 FedBeat 的新算法，通过建立全局一致的分类器来解决这一问题，并且在实验中证明了该方法明显优于现有的其他方法。

Dec, 2023

FedNoisy：联邦噪声标签学习基准

本文提供了一种标准化的基准测试来评估在不同的联邦学习设置下嘈杂标签的影响，为研究人员探索联邦学习中可能出现的数据质量问题提供了帮助。此外还通过对超过 5 个数据集的 20 个基本设置进行的实验，探索了这些数据设置的特征，揭示了联邦嘈杂标签学习中的挑战性情况，为未来的方法开发提供了指导。

Jun, 2023