本文提出了一种全局 - 本地遗忘补偿(GLFC)模型,以解决联邦学习中的灾难性遗忘问题,包括本地遗忘和全局遗忘,并考虑到了隐私和类别不平衡等问题。
Mar, 2022
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
在分布式机器学习技术中,联邦学习(FL)要求客户端在边缘服务器上协同训练共享模型,而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性,并通过实验结果表明,在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比,我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升,而且在异质设置下具有快速收敛速度。
Jul, 2023
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响,指出自适应优化方法虽然可以加速模型收敛,但可能导致解决方案出现偏差,为此提出了纠正技术以克服这种不一致性,并在现实联合训练任务上进行了广泛实验,结果表明与没有局部自适应性的基线相比,所提出的算法可以实现更快的收敛和更高的测试准确性。
Jun, 2021
本文提出了基于本地持续训练策略的联邦学习算法,通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练,从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中,显著提高了联邦模型的初始性能。
May, 2020
针对联邦学习中参与者局部利益与数据准确度不匹配的问题,本文提出并比较了三种本地适应技术,并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为:微调、多任务学习和知识蒸馏。我们的实验结果表明,所有参与者都从本地适应中受益,并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。
Feb, 2020
本研究提出了 Forgettable Federated Linear Learning 框架,旨在保障 Federated learning 中客户端隐私,实现训练模型时对客户端数据的保密性,并通过引入数据移除策略来解决 Federated learning 中的计算挑战,实验结果表明,与基线策略相比,该方法在平衡模型准确性和信息删除方面具有优势。
Jun, 2023
本文提出了 FedSpeed 方法,通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法,解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法,并实现了最先进的性能。
Feb, 2023
在联邦学习中,提出了一种新颖的联邦遗忘方法,通过从模型中减去历史累积更新来消除客户端的贡献,并利用知识蒸馏方法恢复模型的性能,而不使用来自客户端的任何数据。该方法不依赖于客户端的参与,不对神经网络的类型有任何限制,并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。
Jan, 2022
本文介绍一项名为 FedIntR 的策略,通过将中间层的表示集成到本地训练过程中,提供了更细粒度的规则化方式,以防止联邦学习中的局部训练偏移,并确定每个层对正则化项的贡献,并在各种数据集上进行了深入的实验,证明 FedIntR 可以达到与最先进方法相当或更高的性能。
Oct, 2022