本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验，我们证明了 NeFL 可以显著提高性能，并且与联邦学习领域的最新研究相一致。

Aug, 2023

本文介绍了关于联邦学习的理论方面，提出了一个聚合算子和不同类型的联邦学习，针对客户端数据分布要考虑的问题进行了详尽的分析，并提出了胸部 X 光图像分析的使用案例。针对训练数据中的不同客户端进行了模拟，并考虑了中断客户端所带来的不同问题及其解决方案。比较了集中式方法、三个客户端和十个客户端的预测结果，结果显示联邦学习在保护隐私以及提高预测准确性、降低运行时间方面具有很好的效果。最后，提出了未来工作和改进方向。

Jul, 2022

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

本文介绍了一种新颖的问题：在联合学习场景下，如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题，提出了联合少样本学习框架，并进行了大量实验，证明了该框架的有效性。

Jun, 2023

本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

Oct, 2020

该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法，解决异构设备下的全局模型训练问题，并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移，实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。

Feb, 2022

通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

Jun, 2024

在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Jun, 2023