本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

提出了一种将联邦学习与元学习技术相结合的新框架，通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活，从而实现了联邦学习的效率和泛化能力的提高。实验结果表明，与现有的联邦学习方法相比，这种方法在收敛速度和模型性能方面都有所提高，突出了将上下文信息和元学习技术融入联邦学习的潜力，为分布式机器学习范式的进步铺平了道路。

Dec, 2023

我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。

Jan, 2024

本文研究了在分布式设备网络上训练机器学习模型所面临的统计和系统挑战，提出了一种适用于多任务学习的优化方法 MOCHA，并在考虑通信成本、慢设备和容错性等实际系统问题的前提下，实现了比替代方法更显著的加速效果。

May, 2017

本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。

Oct, 2019

本文研究了联邦学习的个性化变种，在 Model-Agnostic Meta-Learning 框架下，通过个性化 Federated Averaging 算法，根据不同用户数据的分布差异，探讨其性能的影响。

Feb, 2020

本研究探讨了一种新的联邦学习形式，其中客户端训练个性化本地模型，并与服务器端共享模型联合进行预测，通过这种新的联邦学习框架，可以最小化中央共享模型的复杂性，同时获得联合训练提供的所有性能优势。这个框架对数据异质性具有鲁棒性，解决了传统联邦学习方法在客户端数据非独立同分布时面临的收敛缓慢问题。我们在实证测试中发现，与基准线相比，取得了巨大的性能提升。

Mar, 2020

通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。

May, 2024

本文介绍联邦学习的独特特征和挑战，提供当前方法的概述，并概述了与各种研究社区相关的几个未来方向。

Aug, 2019

本文提出了一种新的个性化联邦学习框架来解决异构医疗数据在多个医院之间协作训练神经网络时的降级问题，并设计了差异性稀疏正则化器和降低计算成本的方法来提高计算效率，最后通过实验证明该方法可以获取最佳模型性能和高达 60％的通信效率改进。

Jun, 2023