单一共享图像的联邦学习
本篇论文研究了FL领域中不同于普通平均策略的模型聚合方法——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种CV/NLP数据集和场景下优于现有的FL算法。
Jun, 2020
该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于FL基准，DS-FL能降低高达99%的通信成本，同时达到相似甚至更高的分类准确性。
Aug, 2020
该研究提出了一种无需原始数据即可解决异构Federated Learning问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。
May, 2021
本文介绍FedHKD算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。
Jan, 2023
提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态-of-the-art FL算法中，显著提高算法的性能。
May, 2023
通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据可用。
Oct, 2023
基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达40%，超过已有的数据集精简方法18%。
Dec, 2023
基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私-效用权衡。
Dec, 2023
利用优化的无服务器工作流程，在FaaS环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器FedDF比无服务器FedMD更快、成本更低且对极端非独立同分布数据分布更加鲁棒。
Feb, 2024