该论文通过梯度冲突现象研究了联邦学习中来自多个客户端的异构性问题,并提出了一种简单有效的方法 FedGH,通过梯度协调来解决此问题。实验证明,FedGH 在不同基准和非 IID 场景中能显著提升现有的联邦学习方法,尤其在存在更强异构性的情况下效果更为显著,而且它可以方便地集成到任何联邦学习框架中,无需超参数调整。
Sep, 2023
本文提出了一种修改的联邦学习 (FL+HC) 方法,通过引入分层聚类步骤将客户端分为相似的集群,然后对这些集群进行独立并行的训练,实现在非独立同分布的数据环境下的模型训练,通过该方法可以使模型的性能、收敛速度、精度都有所提升。
Apr, 2020
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
联邦学习是一种机器学习方法,可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练,而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题,并探索了目前设计用于解决这些挑战的算法。
Jan, 2024
本研究探讨了动量联邦学习在解决分布式数据机器学习问题方面的应用。在本文中,我们提出了一种新的方法来将动量梯度下降算法应用于本地更新步骤中,以加速全局收敛。我们还建立了动量联邦学习的全局收敛性质,并对其收敛速度进行了上界分析,并与仅使用一阶梯度下降的联邦学习进行了比较。通过使用 MNIST 数据集进行实验,我们评估了 MFL 在不同机器学习模型下的收敛性能,并发现 MFL 比 FL 在全局收敛上有显著的改进。
Oct, 2019
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响,指出自适应优化方法虽然可以加速模型收敛,但可能导致解决方案出现偏差,为此提出了纠正技术以克服这种不一致性,并在现实联合训练任务上进行了广泛实验,结果表明与没有局部自适应性的基线相比,所提出的算法可以实现更快的收敛和更高的测试准确性。
Jun, 2021
提出了一种名为 Hybrid-FL 的协作机制,通过启发式算法解决数据和客户端选择问题,从而缓解非独立同分布数据带来的弊端,在网络模拟和机器学习实验中证明了该方案比之前提出的方案在非 IID 情况下具有更高的分类准确率。
May, 2019
本文提出了一种基于贝叶斯的联合学习算法(BFL)和一种高效的改进算法(Scalable-BFL),通过优化均方误差,聚合异构的离散梯度信息,在 MNIST 数据集上的模拟实验中,这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。
Dec, 2020
本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题,通过在本地训练阶段使用生成的伪数据作为正则化器,以保护用户隐私并提高算法的收敛速度。
Mar, 2022
本文提出了一种公平性感知的梯度稀疏化方法,以及一种自适应梯度稀疏化技术,能够在控制梯度稀疏度的情况下,最小化整体训练时间,实验结果表明,相对于传统方法,通过本文所提方法,能够在有限的训练时间内提升 40% 的模型准确度。
Jan, 2020