FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

May, 2024

FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning

Liuzhi Zhou, Yu He, Kun Zhai, Xiang Liu, Sen Liu...

TL;DRFedCAda 是一种创新的联邦客户自适应算法，利用 Adam 算法在客户端调整一阶矩估计 $m$ 和二阶矩估计 $v$ 的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）和自然语言处理（NLP）数据集上的广泛实验表明，它在适应性、收敛性、稳定性和整体性能方面优于现有方法。

Abstract

federated learning (FL) has emerged as a prominent approach for collaborative training of machine learning models across distributed clients while preserving data privacy. However, the quest to balance acceleration and stability becomes a significant challenge in FL, especially on the

federated learning fedcada algorithm convergence speed communication efficiency

发现论文，激发创造

AdaFed：自适应共同下降方向的公平联邦学习

AdaFed 是一种解决联邦学习中公平性问题的方法，通过自适应地调整服务器的更新方向，使所有客户端的损失函数递减，并且具有更高损失值的客户端的损失函数递减速度更快，从而优于最先进的公平联邦学习方法。

Jan, 2024

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

AdaBest: 通过自适应偏差估计实现联邦学习中最小化客户端漂移

本文提出了一种自适应算法，用于准确估计联邦学习中客户端间的漂移，并通过约束漂移估计的范数使联邦学习更实际，并实验结果表明所提出的算法在各种联邦学习基准中更快达到收敛并实现更高的准确性。

Apr, 2022

FedALA：用于个性化联邦学习的自适应本地聚合

本文提出了一种改进的联邦学习方法 ——FedALA，通过 Adaptive Local Aggregation (ALA) 模块，适应性地聚合下载的全局模型和本地模型，初始化每个客户端上的本地模型，并进行训练，实验结果表明，FedALA 在计算机视觉和自然语言处理等五个基准数据集上超过了 11 种现有技术的 baselines，提高了最高达 3.27％的测试准确性，同时我们还将 ALA 模块应用于其他联邦学习方法，实现了最高达 24.19％的测试准确性提高。

Dec, 2022

联邦学习中的本地适应性：收敛和一致性

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021

基于本地自适应优化的高效联邦学习与线性加速

通过利用全局梯度下降和本地自适应修正优化器，提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上，我们在部分参与设置下建立了 FedLADA 的收敛速度与线性加速特性。此外，我们在真实世界的数据集上进行了广泛的实验，证明了我们所提出的 FedLADA 的有效性，它可以大大减少通信轮数，并且比几个基准模型达到更高的准确性。

Jul, 2023

异构和相关客户端的联邦学习

本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

Jan, 2023

FedADC: 带漂移控制的加速联邦学习

本文提出了一种新的联邦学习算法 FedADC，可以在分布式环境下加速核心算法 SGD 并控制数据漂移问题，同时不会增加计算和通信负载，并通过实验验证了其优越性。

Dec, 2020

FedAC：一种适应性聚类的异构数据联邦学习框架

在本文中，我们提出了一种自适应的聚类联邦学习框架，名为 FedAC，它通过解耦神经网络并为每个子模块使用不同的聚合方法，有效地将全局知识融合到簇内学习中，同时采用一种经济高效的在线模型相似度度量基于降维技术，以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明，相较于现有方法，FedAC 在不同的非独立同分布设置下，CIFAR-10 和 CIFAR-100 数据集的测试准确率分别提高了约 1.82% 和 12.67%。

Mar, 2024

PerAda: 具有保证的参数高效且可推广的联邦学习个性化

本文提出了一种名为 PerAda 的参数高效的 Federated Learning 框架，采用预训练模型，使用少量适配器参数进行通信，实现了与基线方法相比更好的个性化性能和广义性能，尤其是在测试时分布发生变化的情况下。

Feb, 2023