基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达 40%，超过已有的数据集精简方法 18%。

Dec, 2023

通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

May, 2024

本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。

Mar, 2023

提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

Feb, 2024

本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

Oct, 2022

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

提出了一种新颖的个性化联邦学习方案，通过向每个客户端的全局模型注入个性化先验知识来减轻个性化联邦学习中引入的不完整信息问题，在个性化场景中具有更大的适应性，通过收敛分析和大量实验结果验证了该方法的鲁棒性和必要性。

Oct, 2023

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

该研究针对图聚类中的计算开销和数据隐私问题，提出了一种基于联邦学习的谱聚类算法（FedSpectral），并设计了相似度度量标准，该算法相对于全局聚类具有较高的相似性。

Feb, 2023

基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

Dec, 2023