Feb, 2024

FedLion: 更快的自适应联邦优化，通信更少

HTML
PDF
TL;DRFedLion是一种自适应联邦优化算法，将Lion算法的关键元素无缝地应用于分布式数据训练的Federated Learning框架中，通过综合评估表明FedLion在自适应算法中胜过现有的最先进算法，并通过使用有符号梯度在本地训练中来减少数据传输要求，进一步降低通信成本，并展示了FedLion相对于FedAvg等已建立的FL算法具有更快的收敛速度。
发现论文，激发创造
  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为FedLaAvg的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为$ O(E^{1/2}/(N^{1/4}T^{1/2}))$的水平。

    Feb, 2020

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括Adagrad，Adam和Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达57倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 面向通信高效的自适应梯度方法

    提出了一种适用于联邦学习的自适应梯度方法，该方法能够保证收敛和通信效率。

    Sep, 2021

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022

  • FedAVO: 利用非洲秃鹫优化器来提高联邦学习的通信效率

    本研究介绍了一种新的联邦学习算法 FedAVO，它使用非洲秃鹫优化器 AVO 来选择最佳超参数以提高通信效果，并在基准数据集上进行了广泛的评估，证明了 FedAVO 在模型准确性和通信轮数方面的显着改进。我们发现采用 AVO 进行FL超参数调整可以显著降低通信成本，最终与其他国内外领先的算法相比增加全局模型准确度高达6%。

    May, 2023

  • 使用递减本地SGD步骤的更快联邦学习

    本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

    May, 2023

  • 基于本地自适应优化的高效联邦学习与线性加速

    通过利用全局梯度下降和本地自适应修正优化器，提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上，我们在部分参与设置下建立了FedLADA的收敛速度与线性加速特性。此外，我们在真实世界的数据集上进行了广泛的实验，证明了我们所提出的FedLADA的有效性，它可以大大减少通信轮数，并且比几个基准模型达到更高的准确性。

    Jul, 2023

  • FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

    我们提出了一种名为FedLALR的异构本地AMSGrad变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的FedLALR方法的有效性，并与我们的理论发现相吻合。

    Sep, 2023