FedDKD：基于分散式知识蒸馏的联邦学习

May, 2022

FedDKD：基于分散式知识蒸馏的联邦学习

FedDKD: Federated Learning with Decentralized Knowledge Distillation

Xinjia Li, Boyu Chen, Wenlian Lu

TL;DR在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

Abstract

The performance of federated learning in neural networks is generally influenced by the heterogeneity of the data distribution. For a well-performing global model, taking a weighted average of the local models, a

发现论文，激发创造

联邦知识蒸馏

介绍了分布式学习中一种名为Federated Distillation的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。

Nov, 2020

异构联邦学习的零数据知识蒸馏

该研究提出了一种无需原始数据即可解决异构Federated Learning问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

May, 2021

异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

该论文提出一种名为FedGKD的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

基于知识蒸馏的通信高效联邦学习(FedKD)

本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

Aug, 2021

探索无代理数据联邦蒸馏中分布式知识一致性

本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

Apr, 2022

通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

本文提出一种名为FedND的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

Jun, 2023

基于知识蒸馏的异构联邦学习

通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据可用。

Oct, 2023

FedSDD：面向联邦学习模型聚合的可扩展和多样性增强蒸馏

我们提出了一种可扩展和多样性增强的联邦蒸馏方案FedSDD，通过将教师模型构建成由少量聚合（全局）模型组成的集合而不是所有客户模型，以增强可伸缩性，并从一组具有增强多样性的聚合模型构建集合，从而提高了整体和主要全局模型的性能，FedSDD在基准数据集上表现优于其他联邦学习方法，包括FedAvg和FedDF。

Dec, 2023

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了FD框架的基本原理，阐述了应对各种挑战的FD方法，并提供了FD在不同场景中的多样化应用。

Apr, 2024

联邦学习中的知识蒸馏：长期挑战和新解决方案综述

本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

Jun, 2024