在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

May, 2022

利用优化的无服务器工作流程，在 FaaS 环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器 FedDF 比无服务器 FedMD 更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

Feb, 2024

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

Jun, 2020

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

FedSiKD 是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集，FedSiKD 相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了 17% 和 20% 的准确率，展现了其早期学习的能力。代码已公开并托管在 GitHub 上。

Feb, 2024

该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

May, 2021

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

Sep, 2023