PerAda: 具有保证的参数高效且可推广的联邦学习个性化

Feb, 2023

PerAda: 具有保证的参数高效且可推广的联邦学习个性化

PerAda: Parameter-Efficient and Generalizable Federated Learning Personalization with Guarantees

Chulin Xie, De-An Huang, Wenda Chu, Daguang Xu, Chaowei Xiao...

TL;DR本文提出了一种名为 PerAda 的参数高效的 Federated Learning 框架，采用预训练模型，使用少量适配器参数进行通信，实现了与基线方法相比更好的个性化性能和广义性能，尤其是在测试时分布发生变化的情况下。

Abstract

Personalized federated learning (pFL) has emerged as a promising solution to tackle data heterogeneity across clients in FL. However, existing pFL methods either (1) introduce high communication and computation costs or (2) overfit to local data, which can be limited in scope, and are

federated learning perada parameter-efficient knowledge distillation generalization performance

发现论文，激发创造

个性化联邦学习中基于能力异质性的选择性知识共享

Pa3dFL 是一个增强容量异构模型的新型框架，通过解耦和选择性地在容量异构模型之间共享知识，提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数，并保持通用参数在客户端之间的统一大小并进行直接平均聚合，然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数，最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验，我们的研究结果表明 Pa3dFL 在不同的异构设置下始终优于基准方法。此外，与基准方法相比，Pa3dFL 表现出竞争性的通信和计算效率，突显了它在不利系统条件下的实用性和适应性。

May, 2024

FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

FedCAda 是一种创新的联邦客户自适应算法，利用 Adam 算法在客户端调整一阶矩估计 $m$ 和二阶矩估计 $v$ 的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）和自然语言处理（NLP）数据集上的广泛实验表明，它在适应性、收敛性、稳定性和整体性能方面优于现有方法。

May, 2024

PFA：隐私保护联邦适应以实现模型有效个性化

本文介绍了一种名为 PFA 的新框架，旨在以联邦方式实现更好的个性化结果。PFA 利用神经网络的稀疏性生成隐私保护表示，并使用这些表示来高效识别具有相似数据分布的客户端，从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私，并在多个 FL 数据集上通过实验证明了其有效性和优越性。

Mar, 2021

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023

用于联邦基础模型的双个性化适配器

提出了一个新的设置，称为测试时个性化，其中不仅专注于目标的本地任务，而且扩展到展示测试时分布偏移的其他任务。为了解决这个新设置中的挑战，提出了一个名为 FedDPA 的双向个性化适配器架构，包括全局适配器和局部适配器，用于解决测试时分布偏移和个性化问题，并引入了一个实例动态加权机制来优化全局和局部适配器之间的平衡，提高整体性能。在不同的自然语言处理任务上对所提出的方法进行了评估。

Mar, 2024

客户监督的联邦学习：朝着通用个性化模型

通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

Mar, 2024

FedALA：用于个性化联邦学习的自适应本地聚合

本文提出了一种改进的联邦学习方法 ——FedALA，通过 Adaptive Local Aggregation (ALA) 模块，适应性地聚合下载的全局模型和本地模型，初始化每个客户端上的本地模型，并进行训练，实验结果表明，FedALA 在计算机视觉和自然语言处理等五个基准数据集上超过了 11 种现有技术的 baselines，提高了最高达 3.27％的测试准确性，同时我们还将 ALA 模块应用于其他联邦学习方法，实现了最高达 24.19％的测试准确性提高。

Dec, 2022

自适应个性化联邦学习

本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

Mar, 2020

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023