使用样本权重进行分布倾斜数据的联邦学习
本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战,提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案,并通过实验表明,使用仅占 5%的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30%。
Jun, 2018
FedClust 是一种聚类联邦学习方法,利用局部模型权重和客户数据分布之间的相关性将客户分组成簇,并动态地实时适应新加入的客户,实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。
Mar, 2024
通过提出集中式的、基于神经网络的联邦学习系统,利用边缘计算减少中央服务器的负载,同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。
Nov, 2023
使用球面限制措施的超球面联邦学习 (SphereFed) 框架,通过在联邦学习之前将数据点的表示限制到由客户端共享的单位超球面上,解决了非独立分布数据的处理问题,通过构建固定分类器来处理不类别分布的数据在不同客户端间的差异性并在最小化损失函数的过程中进行联邦学习,最终实现进一步的分类器校准。我们的实验证明 SphereFed 方法能够有效提高现有算法的准确性(在具有挑战性的数据集上达到 6% 以上),并增强计算和通信效率。
Jul, 2022
本文提出了一种新颖方法 - WeiAvg,利用投影估计方法来估计客户端数据的多样性,从高多样性客户端强调权重更新,减少低多样性客户端的影响,实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx,能更快、更准确的达到收敛。
May, 2023
FewFedWeight 是跨多个任务的 few-shot 联邦学习框架,通过在隔离设备上训练客户端模型,广播全局模型并为客户端生成伪数据,同时使用能量算法对伪样本进行加权,动态聚合客户端模型的自适应模型权重更新全局模型,可显著提高客户端模型的性能。
Dec, 2022
信用风险预测对商业银行和其他金融机构在授予贷款和减少潜在损失方面起着关键作用。本研究调查了联邦学习在信用风险评估中的可行性,并展示了数据不平衡对模型性能的影响。通过使用多层感知机 (MLP)、长短期记忆网络 (LSTM) 和极限梯度提升 (XGBoost) 等不同架构,以及三个不同数据集和不同场景下的数据分布配置,我们证明了联邦模型在数据集较小的非主导客户上始终优于本地模型,在高度不平衡的数据场景中平均提高了 17.92% 的模型性能,然而对于数据更多的主导客户,联邦模型可能表现出较低的性能,因此需要针对这类客户提供特殊的激励以鼓励其参与。
Jan, 2024
在分布式数据训练中,为了解决公平性问题,本研究提出了一种适用于分布式和异构系统的具有小样本和分布自由保证的后处理算法 FedFaiREE。该算法考虑了分布式环境中的挑战,如客户异质性、通信成本和小样本大小,并在公平性和准确性方面提供了严格的理论保证,通过实验证明了所提方法的鲁棒性。
Feb, 2024
本文研究了 Federated Learning 在视觉分类中的作用,提出了通过服务器的惯性防止非同质数据分布对性能的负面影响,并在 CIFAR-10 上进行了实验,结果表明在不同的非同质性数据分布下,这种方案能够显著提高分类准确率。
Sep, 2019