基于知识蒸馏的通信高效联邦学习 (FedKD)

Aug, 2021

基于知识蒸馏的通信高效联邦学习 (FedKD)

FedKD: Communication Efficient Federated Learning via Knowledge Distillation

Chuhan Wu, Fangzhao Wu, Lingjuan Lyu, Yongfeng Huang, Xing Xie

TL;DR本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

Abstract

federated learning is widely used to learn intelligent models from decentralized data. In federated learning, clients need to communicate their local model updates in each iteration of model learning. However, mo

federated learning communication efficiency knowledge distillation collaborative learning gradient approximation

发现论文，激发创造

联邦知识蒸馏

介绍了分布式学习中一种名为 Federated Distillation 的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。

Nov, 2020

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

Jun, 2023

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

FedDKD：基于分散式知识蒸馏的联邦学习

在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

May, 2022

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

通过累积本地更新改进联邦蒸馏的通信效率

通过在学习过程中传输只有小规模知识，作为一种新兴的联合训练范式，联合蒸馏能够实现高效的模型训练。为了进一步提高联合蒸馏的通信效率，我们提出了一种新的技术，ALU，它在将知识传输到中央服务器之前累积多个局部更新轮次。ALU 显著降低了联合蒸馏中的通信频率，从而大大减少了训练过程中的通信开销。实证实验表明，ALU 显著提高了联合蒸馏的通信效率。

Dec, 2023

无好老师的隐私保护联合蒸馏中的选择性知识共享

本文提出了一种新的联邦蒸馏机制（Selective-FD），其中包括客户端和服务器端选择器来准确地识别本地和集合预测的知识以增强联邦学习框架的泛化能力，并在实验中得到验证。

Apr, 2023

基于知识蒸馏的异构联邦学习

通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据可用。

Oct, 2023