FedAVO: 利用非洲秃鹫优化器来提高联邦学习的通信效率

May, 2023

FedAVO: 利用非洲秃鹫优化器来提高联邦学习的通信效率

FedAVO: Improving Communication Efficiency in Federated Learning with African Vultures Optimizer

Md Zarif Hossain, Ahmed Imteaj

TL;DR本研究介绍了一种新的联邦学习算法 FedAVO，它使用非洲秃鹫优化器 AVO 来选择最佳超参数以提高通信效果，并在基准数据集上进行了广泛的评估，证明了 FedAVO 在模型准确性和通信轮数方面的显着改进。我们发现采用 AVO 进行 FL 超参数调整可以显著降低通信成本，最终与其他国内外领先的算法相比增加全局模型准确度高达 6%。

Abstract

federated learning (FL), a distributed machine learning technique has recently experienced tremendous growth in popularity due to its emphasis on user data privacy. However, the distributed computations of FL can result in constrained communication and drawn-out learning processes, nec

federated learning communication cost optimization hyperparameters african vulture optimizer model accuracy

发现论文，激发创造

EvoFed：利用进化策略进行通信高效的联邦学习

本文提出了一种称为 EvoFed 的新方法，通过将进化策略（ES）与分布式学习（FL）相结合，解决了传统 FL 中高通信成本的问题。EvoFed 通过基于适应度的信息共享，在节点之间传递一种基于距离的相似度度量，从而大幅减少了通信负载。在实验中，EvoFed 在各种实际环境中展现出与 FedAvg 相当的性能，同时显著降低了通信需求。

Nov, 2023

预处理联邦学习

在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

Sep, 2023

FedLion: 更快的自适应联邦优化，通信更少

FedLion 是一种自适应联邦优化算法，将 Lion 算法的关键元素无缝地应用于分布式数据训练的 Federated Learning 框架中，通过综合评估表明 FedLion 在自适应算法中胜过现有的最先进算法，并通过使用有符号梯度在本地训练中来减少数据传输要求，进一步降低通信成本，并展示了 FedLion 相对于 FedAvg 等已建立的 FL 算法具有更快的收敛速度。

Feb, 2024

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

FAVAS: 带异步客户端的联邦平均

本文提出了 FAVAS 算法，采用集中式的异步联邦学习方式，在资源有限的环境下训练深度神经网络，并提供算法的收敛保证和实验结果的比较。

May, 2023

物联网联邦学习的高效自适应联邦优化

该论文提出了一种新的联邦学习算法（EAFO），通过联合考虑本地更新和参数压缩两个变量并使 FL 能够自适应调整这两个变量来提高其效率，以最小化学习误差，并实现计算，通信和精度之间的权衡，实验结果证明，与现有算法相比，EAFO 算法能够更快地实现更高的准确性。

Jun, 2022

关于联邦学习的二阶优化方法

本研究考虑分布式学习中的标准优化方法 FedAvg，对比了多种具有良好收敛性质的二阶分布式方法，发现 FedAvg 表现出乎意料好，提出了一种使用二阶局部信息和全局线性搜索的新变种。

Sep, 2021

FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020

无线联邦学习与优化

使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

Oct, 2023

关于联邦学习的原则性本地优化方法

本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

Jan, 2024