联邦学习中的知识蒸馏：长期挑战和新解决方案综述
该研究提出了一种无需原始数据即可解决异构Federated Learning问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。
May, 2021
该论文提出一种名为FedGKD的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。
Jun, 2021
本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。
Apr, 2022
在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。
May, 2022
FedSiKD是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对HAR和MNIST数据集，FedSiKD相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了17%和20%的准确率，展现了其早期学习的能力。代码已公开并托管在GitHub上。
Feb, 2024
通过对知识蒸馏(KD)技术的综合比较研究，本文填补了目前研究中的空白，揭示了在协作与联邦学习框架中利用预训练模型中的知识蒸馏技术的最佳超参数设置，通过降低通信回合和加速训练过程，提高模型性能的实用框架。
Feb, 2024
分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。
Mar, 2024
本研究针对联邦学习中的数据异质性问题，揭示了基于知识蒸馏的技术在模型投毒攻击下的脆弱性，并提出了一种新的混合蒸馏算法HYDRA-FL，利用辅助分类器减少攻击影响。该方法在攻击情境下优于现有基线，同时在正常情况下也保持了较好的性能。
Sep, 2024
本研究解决了联邦学习中用户数据异构性导致的全球模型性能降低的问题。通过实证研究揭示基于知识蒸馏的联邦学习系统的脆弱性，并提出了一种新型的混合知识蒸馏算法HYDRA-FL，能够有效减少模型中毒攻击的影响，同时在正常情况下保持相似的性能表现。
Sep, 2024