Jul, 2023

基于本地自适应优化的高效联邦学习与线性加速

PDF
TL;DR通过利用全局梯度下降和本地自适应修正优化器，提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上，我们在部分参与设置下建立了 FedLADA 的收敛速度与线性加速特性。此外，我们在真实世界的数据集上进行了广泛的实验，证明了我们所提出的 FedLADA 的有效性，它可以大大减少通信轮数，并且比几个基准模型达到更高的准确性。
adaptive optimizationfederated learningglobal gradient descentmomentum-based algorithmcommunication rounds
发现论文，激发创造
  • 联邦学习中的本地适应性：收敛和一致性

    本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

    Jun, 2021

  • FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

    我们提出了一种名为 FedLALR 的异构本地 AMSGrad 变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的 FedLALR 方法的有效性，并与我们的理论发现相吻合。

    Sep, 2023

  • FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

    FedCAda 是一种创新的联邦客户自适应算法，利用 Adam 算法在客户端调整一阶矩估计 $m$ 和二阶矩估计 $v$ 的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）和自然语言处理（NLP）数据集上的广泛实验表明，它在适应性、收敛性、稳定性和整体性能方面优于现有方法。

    May, 2024

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 具有全局动量加速的通信高效联邦学习

    提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

    Jan, 2022

  • 动量梯度下降加速联邦学习

    本研究探讨了动量联邦学习在解决分布式数据机器学习问题方面的应用。在本文中，我们提出了一种新的方法来将动量梯度下降算法应用于本地更新步骤中，以加速全局收敛。我们还建立了动量联邦学习的全局收敛性质，并对其收敛速度进行了上界分析，并与仅使用一阶梯度下降的联邦学习进行了比较。通过使用 MNIST 数据集进行实验，我们评估了 MFL 在不同机器学习模型下的收敛性能，并发现 MFL 比 FL 在全局收敛上有显著的改进。

    Oct, 2019

  • FedSpeed: 更大的本地间隔，更少的通信轮次，更高的泛化准确性

    本文提出了 FedSpeed 方法，通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。

    Feb, 2023

  • 非独立分散数据的有效联邦自适应梯度方法

    本文提出了各种基于联邦学习的自适应梯度方法以及各种校准方法，比如标准 Adam，p-Adam 和激活函数校准方法等等，为非凸优化中非独立同分布和不平衡数据中的（校准的）联邦 AGMs 提供了第一组理论结果。通过与现有的联邦学习方法 FedAvg、FedMomentum 和 SCAFFOLD 进行了广泛的实验比较，可以看出 AGMs 相对于当前联邦学习方法的优势。

    Sep, 2020

  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

    Feb, 2020

  • FedLion: 更快的自适应联邦优化，通信更少

    FedLion 是一种自适应联邦优化算法，将 Lion 算法的关键元素无缝地应用于分布式数据训练的 Federated Learning 框架中，通过综合评估表明 FedLion 在自适应算法中胜过现有的最先进算法，并通过使用有符号梯度在本地训练中来减少数据传输要求，进一步降低通信成本，并展示了 FedLion 相对于 FedAvg 等已建立的 FL 算法具有更快的收敛速度。

    Feb, 2024