仅有正标签的联邦学习
研究了在联邦学习设置下的多标签分类问题,通过探索标签相关性的联邦平均方法提出了一种新的通用方法 FedALC,可以显著优于现有方法。
Apr, 2024
该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析,并通过与 FedAvg 进行分类任务的比较来评估其性能,得出了新的聚合算法,该算法可以通过区分客户端贡献的价值来修改其模型架构。
May, 2022
本研究提出一种名为联邦分类器平均(FedClassAvg)的个性化联邦学习方法,通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据(non-iid)学习任务的客户端可以学习稀缺标签,同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现,相较于已有方法仅要求客户端通信少量全连接层,因此高度通信效率,而且不需要额外的优化问题和计算开销,且在异构性个性化联邦学习任务方面表现优于现有最先进算法。
Oct, 2022
提出了一种新的联邦学习方案,其中服务器与本地模型合作,通过交换类别的中心来保持一致的决策边界,实现了在网络中使用带有给定噪声的标签的一致决策边界。同时,还提出了选择有自信的样本来更新模型以及全局引导的伪标签方法来更新不自信的样本标签。在嘈杂的 CIFAR-10 数据集和 Clothing1M 数据集上的实验证明,该方法在使用有噪声的标签的联邦学习中非常有效。
Dec, 2020
本文提出了一个新的理论框架,证明联邦学习可以比本地分类器严格提高模型的公平性,但目前的基于 FedAvg 的公平学习算法在性能上与中心化数据上训练的公平分类器相比牺牲了很多,为此我们提出了一种名为 FedFB 的基于隐私保护的公平学习算法,在分散数据上训练时可以有效地模拟中心化的公平学习,实验结果表明,FedFB 明显优于现有方法,有时甚至能够与中心训练模型的性能匹配。
Oct, 2021
通过对 FedAvg 在多任务线性表示设置下的形式化研究,我们发现 FedAvg 之所以能够产生良好的泛化效果,是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示,我们还提供了实证证据,证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。
May, 2022
个性化联邦学习中,通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法,即类别级联联邦平均(cwFedAVG),该方法在服务器端按类别执行联邦平均(FedAVG),创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布(由深度网络权重的 L2 - 范数导出),加权整合这些全局模型,避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示,cwFedAVG 可以与多个现有的 PFL 方法相媲美甚至更好。值得注意的是,cwFedAVG 在概念上简单而计算高效,通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了 cwFedAVG 如何实现了各自类别分布上的本地模型专业化,同时全局模型捕获了跨客户端的类别相关信息。
Jun, 2024
本文介绍了一种名为自适应联邦平均的新型算法,该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量,并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者,从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。
Sep, 2019
本文提出了一种基于梯度遮蔽平均的联邦学习方法,该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制,避免因为主导客户端的偏见导致的信息损失和泛化性能不佳,实验证明该方法在非独立同分布数据集上提供了一致的改进。
Jan, 2022
本文提出了一种新颖方法 - WeiAvg,利用投影估计方法来估计客户端数据的多样性,从高多样性客户端强调权重更新,减少低多样性客户端的影响,实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx,能更快、更准确的达到收敛。
May, 2023