在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

May, 2022

机器学习在多媒体数据（例如图像）中更具吸引力，然而多媒体数据通常具有分布性和隐私敏感性。在这篇论文中，我们展示了联邦学习（FL）遭受跨客户生成对抗网络（C-GANs）攻击的问题，然后我们提出了 Fed-EDKD 方法来提高当前广泛应用的 FL 方案以抵抗 C-GANs 攻击。通过实验证明，Fed-EDKD 显著减轻 C-GANs 攻击，同时仅带来轻微的 FL 准确性下降。

Jul, 2023

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据可用。

Oct, 2023

该研究考虑设计一个通用的 API 用于联邦学习，但发现大多数基于知识蒸馏的联邦学习协议表现不佳，因此提出了一个新的理论框架（联邦核岭回归）来解决模型和数据异构性的问题，并根据知识蒸馏设计了新的协议，通过实验验证了该框架的理论预测。

Oct, 2021

该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

本文提出一种名为 FedACK 的新型联邦对抗式对比知识蒸馏框架来检测社交机器人，该框架采用生成器传递数据分布知识，并使用本地鉴别器进行个性化模型设计和使用硬样本进行数据增强。本地训练采用多阶段对抗和对比学习，能够在客户之间实现一致的特征空间并使局部和全局模型之间的差异减少，表现出了优异的准确性和通信效率。

Mar, 2023

利用优化的无服务器工作流程，在 FaaS 环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器 FedDF 比无服务器 FedMD 更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

Feb, 2024

该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

May, 2021