Jun, 2021

FedCM: 客户级动量的联邦学习

PDF
TL;DR本文提出了一种名为 FedCM 的新型联邦平均算法，用于解决现实世界联邦学习应用中的部分参与和客户异质性问题。它在以前的通信轮次中聚合全局梯度信息，并修改客户端梯度下降，可以有效地纠正偏差并提高本地 SGD 的稳定性。作者提供了理论分析和广泛的实证研究表明，FedCM 在各种任务中均具有卓越的性能，并且对不同的客户数量、参与率和客户异质性具有鲁棒性。
发现论文，激发创造
  • 具有全局动量加速的通信高效联邦学习

    提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

    Jan, 2022

  • 动量方法可简单并明确地获得非独立同分布联邦学习的好处

    本文介绍了在联邦学习中引入动量的方法，以提高 FedAvg 和 SCAFFOLD 算法的性能，并成功证明了在所有的客户端参与训练的情况下，利用动量可以使 FedAvg 算法收敛，而在部分客户端参与训练时，利用动量可以使 SCAFFOLD 算法更快地收敛。此外，文章提出了新的方差缩减扩展，展现出最先进的收敛速度。

    Jun, 2023

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • FedMR: 基於模型重組的聯邦學習

    本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

    May, 2023

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 主动联邦学习

    该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

    Sep, 2019

  • 自适应优化解决联邦渐进学习中的客户漂移问题

    本文提出了一种 Federated Continual Learning（FCL）系统，用于解决连续学习中的客户端漂移问题，并使用自适应联邦优化来减少其不良影响。作者进一步评估了该框架的可扩展性、对客户端数据分布失衡的鲁棒性以及对固定时间的影响。

    Mar, 2022

  • 动量梯度下降加速联邦学习

    本研究探讨了动量联邦学习在解决分布式数据机器学习问题方面的应用。在本文中，我们提出了一种新的方法来将动量梯度下降算法应用于本地更新步骤中，以加速全局收敛。我们还建立了动量联邦学习的全局收敛性质，并对其收敛速度进行了上界分析，并与仅使用一阶梯度下降的联邦学习进行了比较。通过使用 MNIST 数据集进行实验，我们评估了 MFL 在不同机器学习模型下的收敛性能，并发现 MFL 比 FL 在全局收敛上有显著的改进。

    Oct, 2019

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024