Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

Dec, 2023

Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity

Yiyue Chen, Haris Vikalo, Chianing Wang

TL;DR通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Abstract

Motivated by high resource costs of centralized machine learning schemes as well as data privacy concerns, federated learning (FL) emerged as an efficient alternative that relies on aggregating locally trained models rather than collecting clients' potentially private data. In practice

发现论文，激发创造

用于高效通讯联邦学习的三元压缩

研究提出了一种基于联邦学习的量化算法FTTQ和三值联邦平均协议T-FedAvg，能够显著降低联邦学习系统的通信成本，并在IID数据上实现微小的性能提升。

Mar, 2020

QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法，旨在协同处理具有不同资源和数据异构性的客户端，以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法，实现了在不同的模型维度/结构和精度方案下的客户端个性化训练。数值实验证明了 QuPeD 在各种异构设置下优于现有联邦学习方法 FedAvg 和本地客户端训练。

Jul, 2021

SSFL: 通过个性化自监督解决联合学习中的标签不足问题

本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如Per-SSFL、FedAvg和SimSiam等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

Oct, 2021

具备分歧感知的联邦自监督学习

通过具体实验研究发现了联邦自监督学习的深入见解，并提出了一种新的方法用于解决分散数据的非独立同分布问题。该方法称为 FedEMA，它使用全局模型的 EMA 来自适应地更新客户端的本地模型，并采用动态度量模型发散的的衰减速率。实验结果表明，FedEMA 在线性评估上的性能比现有方法高3-4％。

Apr, 2022

具有服务器端信息的个性化联邦学习

研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法，并通过各种基准测试和消融实验证明其优于现有方法，不仅计算效率更高，而且收敛速度高达34.2％。

May, 2022

异构客户端的联邦自监督学习

提出了一种名为Heterogeneous Self-supervised Federated Learning（Hetero-SSFL）的统一框架，可以在异构客户端上进行协作表示学习，同时解决了系统异质性和标记数据匮乏等问题，并在非凸目标的异构性设置中提供了收敛保证，而且比现有方法表现更佳。

May, 2022

部分个性化联邦学习：打破数据异构的诅咒

本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

May, 2023

资源受限异构设备上的联邦学习的混合精度量化

引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。

Nov, 2023

FedShift: 通过权重偏移聚合解决联邦学习的双重异质问题

FedShift是一种新颖的算法，旨在在双重异质性情况下提高训练速度和模型的准确性，通过量化和移位技术改善客户参与度，并提升在异质性环境中的准确性3.9%。

Feb, 2024

FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

基于Prompt调优和Logit蒸馏的参数高效统一的异构联邦学习框架FedHPL能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

May, 2024