FedD2S：个性化的无数据联邦知识蒸馏

Feb, 2024

FedD2S：个性化的无数据联邦知识蒸馏

FedD2S: Personalized Data-Free Federated Knowledge Distillation

Kawa Atapour, S. Jamal Seyedmohammadi, Jamshid Abouei, Arash Mohammadi, Konstantinos N. Plataniotis

TL;DR提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

Abstract

This paper addresses the challenge of mitigating data heterogeneity among clients within a federated learning (FL) framework. The model-drift issue, arising from the noniid nature of client data, often results in

federated learning data heterogeneity knowledge distillation personalization layer-dropping

发现论文，激发创造

非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

Mar, 2022

异构联邦学习的零数据知识蒸馏

该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

May, 2021

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

DFRD：无数据的异构联邦学习鲁棒性蒸馏

基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

Sep, 2023

单一共享图像的联邦学习

通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

Jun, 2024

面向非独立同分布数据的基于标签的联邦学习知识蒸馏

提出一种名为 Full-stack FL 的新型联邦学习框架，通过使用分层网络架构和标签驱动的知识蒸馏技术，解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题，从而在所有全局蒸馏中显著提高了联邦学习的效率。

Sep, 2022

探索无代理数据联邦蒸馏中分布式知识一致性

本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

Apr, 2022

FedMD: 通过模型蒸馏实现异构联邦学习

本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。

Oct, 2019

FedSiKD: 应对非 i.i.d 和约束的联邦学习中的客户相似性和知识蒸馏

FedSiKD 是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集，FedSiKD 相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了 17% 和 20% 的准确率，展现了其早期学习的能力。代码已公开并托管在 GitHub 上。

Feb, 2024

CD$^2$-pFed: 基于循环蒸馏引导的通道解耦，用于联邦学习中的模型个性化

CD^2-pFed 是一个新颖的循环蒸馏引导通道解耦框架，其通过通道解耦技术为模型个性化定制来解决异质数据客户端的问题。在全面集成本地和全局模型表示期间，循环蒸馏技术能够为我们的通道解耦框架提供更准确和广泛的结果。

Apr, 2022