FedLion: 更快的自适应联邦优化，通信更少

Feb, 2024

FedLion: 更快的自适应联邦优化，通信更少

FedLion: Faster Adaptive Federated Optimization with Fewer Communication

Zhiwei Tang, Tsung-Hui Chang

TL;DRFedLion 是一种自适应联邦优化算法，将 Lion 算法的关键元素无缝地应用于分布式数据训练的 Federated Learning 框架中，通过综合评估表明 FedLion 在自适应算法中胜过现有的最先进算法，并通过使用有符号梯度在本地训练中来减少数据传输要求，进一步降低通信成本，并展示了 FedLion 相对于 FedAvg 等已建立的 FL 算法具有更快的收敛速度。

Abstract

In federated learning (FL), a framework to train machine learning models across distributed data, well-known algorithms like FedAvg tend to have slow convergence rates, resulting in high communication costs durin

federated learning fedlion adaptive algorithms communication costs convergence rate

发现论文，激发创造

预处理联邦学习

在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

Sep, 2023

FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

我们提出了一种名为 FedLALR 的异构本地 AMSGrad 变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的 FedLALR 方法的有效性，并与我们的理论发现相吻合。

Sep, 2023

基于本地自适应优化的高效联邦学习与线性加速

通过利用全局梯度下降和本地自适应修正优化器，提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上，我们在部分参与设置下建立了 FedLADA 的收敛速度与线性加速特性。此外，我们在真实世界的数据集上进行了广泛的实验，证明了我们所提出的 FedLADA 的有效性，它可以大大减少通信轮数，并且比几个基准模型达到更高的准确性。

Jul, 2023

FedFog: 基于网络感知优化的无线雾云联合学习

本文通过提出一种基于联邦平均的高效 FL（FedFog）算法，结合一种新型的面向网络的 FL 优化问题，提高了资源利用率并在保证学习精度的同时，通过采用用户聚合策略，缓解慢用户的影响，并减小了时间开销。对多项真实 FL 任务的数值结果进行了广泛的理论收敛验证和实际应用展示。

Jul, 2021

分布式学习算法性能评估研究

分布式学习是一种实际的方法，用于从分散的数据中训练模型。分布式学习算法（如 FedAvg、FedProx、FedYogi、FedAdam、SCAFFOLD 和 FedDyn）的综合性能评估揭示了单一算法在不同性能指标上表现并不最佳，同时也存在诸如计算负载、通信负载、性能稳定性等方面的问题。

Mar, 2024

关于联邦学习的原则性本地优化方法

本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

Jan, 2024

具有分布式 Lion 的通信高效分布式训练

本文介绍了一种新颖的 Lion 优化器适用于分布式训练环境，通过使用 Lion 中的符号操作符，仅需要在工人和中心服务器之间传送二进制或低精度向量，可显著降低通信成本，并具有良好的性能和带宽平衡。

Mar, 2024

FedAVO: 利用非洲秃鹫优化器来提高联邦学习的通信效率

本研究介绍了一种新的联邦学习算法 FedAVO，它使用非洲秃鹫优化器 AVO 来选择最佳超参数以提高通信效果，并在基准数据集上进行了广泛的评估，证明了 FedAVO 在模型准确性和通信轮数方面的显着改进。我们发现采用 AVO 进行 FL 超参数调整可以显著降低通信成本，最终与其他国内外领先的算法相比增加全局模型准确度高达 6%。

May, 2023