FedCompass: 使用计算能力感知调度程序在异构客户设备上进行高效的跨边缘联邦学习

Sep, 2023

FedCompass: 使用计算能力感知调度程序在异构客户设备上进行高效的跨边缘联邦学习

FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler

PDF

Zilinghan Li, Pranshu Chaturvedi, Shilan He, Han Chen, Gagandeep Singh...

TL;DRFedCompass 是一种创新的半异步联邦学习算法，通过服务器端具有计算能力感知调度器，根据个体客户端的计算能力自适应地分配不同数量的训练任务给不同的客户端，以减少本地模型的陈旧性，从而实现多个本地训练模型的几乎同时汇总，提高异构客户端上的联邦学习的收敛速度和准确性。

Abstract

cross-silo federated learning offers a promising solution to collaboratively train robust and generalized AI models without compromising the privacy of local datasets, e.g., healthcare, financial, as well as scie

federated learning cross-silo heterogeneous clients asynchronous algorithm convergence rate

发现论文，激发创造

非独立同分布数据上的个性化跨边界联邦学习

本文提出了 FedAMP 方法，采用联邦关注的消息传递，在客户端之间建立两两合作，使具有相似数据的客户端更好地协作，进而解决非独立同分布数据对联邦学习的困难。实验结果表明，FedAMP 方法在标准数据集上有着优越的性能。

Jul, 2020

异构和相关客户端的联邦学习

本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

Jan, 2023

異構聯邦學習中以歷史為鑑

该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

Dec, 2023

异质数据上的一致性机制联邦学习：收敛性的新视角

在本文中，我们提出了一种名为 FedCOME 的共识机制，通过在服务器端对客户端的梯度进行微调，保证了每轮训练后每个客户端的风险减少；我们还设计了一种新的客户端采样策略，将共识机制推广到部分参与的联邦学习场景，有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。

Nov, 2023

通过梯度多样性最大化解决联邦优化的混合异质性问题

研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

Oct, 2023

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

具有全局动量加速的通信高效联邦学习

提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

Jan, 2022

FedCos：面向场景的联邦优化增强算法用于性能提升

通过引入余弦相似性惩罚，FedCos 减少了本地模型的方向不一致性，并且可以自适应于各种非 IID 设置，提高了通信效率，并且在不同的 FL 场景下表现出了优异性能，包括减少通信轮数等。

Apr, 2022

FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

我们提出了一种名为 FedLALR 的异构本地 AMSGrad 变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的 FedLALR 方法的有效性，并与我们的理论发现相吻合。

Sep, 2023

联邦学习中借鉴低效客户的学习

现有联邦学习算法在从客户端设备中学习该设备返回具有显著时间延迟的模型更新方面表现如何？能否有效学习来自于计划后几分钟、几小时或几天才回报的客户端？本研究通过基于真实应用的蒙特卡洛模拟来回答这些问题。我们研究了 FedAvg 和 FedAdam 等同步优化算法，以及异步联邦缓冲算法 FedBuff，并观察到所有这些现有方法在学习严重延迟的客户端方面都存在困难。为了改善这种状况，我们进行了修改实验，包括蒸馏正则化和模型权重的指数移动平均。最后，我们提出了基于蒸馏和平均的两种新算法 FARe-DUST 和 FeAST-on-MSG。通过对 EMNIST、CIFAR-100 和 StackOverflow 基准联邦学习任务的实验，证明我们的新算法在延迟严重的客户端方面优于现有算法，并在训练时间和总体准确性之间提供更好的权衡。

Mar, 2024