该研究提出了一种无需原始数据即可解决异构Federated Learning问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。
May, 2021
该论文提出一种名为FedGKD的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。
Jun, 2021
本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。
Apr, 2022
本文提出一种名为FedND的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。
Jun, 2023
基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了DFRD方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明DFRD相较于基准模型取得了显著的性能提升。
Sep, 2023
利用优化的无服务器工作流程，在FaaS环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器FedDF比无服务器FedMD更快、成本更低且对极端非独立同分布数据分布更加鲁棒。
Feb, 2024
该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了FD框架的基本原理，阐述了应对各种挑战的FD方法，并提供了FD在不同场景中的多样化应用。
Apr, 2024
FedAF是一种不需要数据聚合的联邦学习算法，通过协作学习来减少数据异质性导致的客户端漂移问题，提高全局模型准确性和收敛速度
基于Prompt调优和Logit蒸馏的参数高效统一的异构联邦学习框架FedHPL能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。
May, 2024
本研究针对联邦学习中的客户端异质性问题，提出了一种集成模型增量正则化、个性化模型、联邦知识蒸馏和混合池化的优化算法。实验结果表明，该算法显著提高了准确性和快速收敛，尤其在数据多样性场景中表现出色，展示了其在隐私敏感领域的应用潜力。
Sep, 2024