FedSiKD: 应对非i.i.d和约束的联邦学习中的客户相似性和知识蒸馏

Feb, 2024

FedSiKD: 应对非i.i.d和约束的联邦学习中的客户相似性和知识蒸馏

FedSiKD: Clients Similarity and Knowledge Distillation: Addressing Non-i.i.d. and Constraints in Federated Learning

Yousef Alsenani, Rahul Mishra, Khaled R. Ahmed, Atta Ur Rahman

TL;DRFedSiKD是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对HAR和MNIST数据集，FedSiKD相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了17%和20%的准确率，展现了其早期学习的能力。代码已公开并托管在GitHub上。

Abstract

In recent years, federated learning (FL) has emerged as a promising technique for training machine learning models in a decentralized manner while also preserving data privacy. The non-independent and identically distributed (non-i.i.d.) nature of client data, coupled with constraints

发现论文，激发创造

异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

该论文提出一种名为FedGKD的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

基于知识蒸馏的通信高效联邦学习(FedKD)

本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

Aug, 2021

探索无代理数据联邦蒸馏中分布式知识一致性

本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

Apr, 2022

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

本文介绍FedHKD算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

重新思考联邦学习中的客户漂移：逻辑回归视角

通过引入类原型相似度蒸馏算法(FedCSD)解决联邦学习中的客户端漂移和灾难性遗忘问题，实验证明它在各种异构环境下优于现有的联邦学习方法。

Aug, 2023

通过深度生成潜变量进行数据集精炼的联邦学习潜力释放

基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达40%，超过已有的数据集精简方法18%。

Dec, 2023

FedSDD：面向联邦学习模型聚合的可扩展和多样性增强蒸馏

我们提出了一种可扩展和多样性增强的联邦蒸馏方案FedSDD，通过将教师模型构建成由少量聚合（全局）模型组成的集合而不是所有客户模型，以增强可伸缩性，并从一组具有增强多样性的聚合模型构建集合，从而提高了整体和主要全局模型的性能，FedSDD在基准数据集上表现优于其他联邦学习方法，包括FedAvg和FedDF。

Dec, 2023

使用知识蒸馏在无服务器联邦学习中训练异构客户端模型

利用优化的无服务器工作流程，在FaaS环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器FedDF比无服务器FedMD更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

Feb, 2024

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了FD框架的基本原理，阐述了应对各种挑战的FD方法，并提供了FD在不同场景中的多样化应用。

Apr, 2024

联邦学习中的知识蒸馏：长期挑战和新解决方案综述

本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

Jun, 2024