本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

Feb, 2021

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ-近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态-of-the-art 方法。

Nov, 2021

通过对FedAvg在多任务线性表示设置下的形式化研究，我们发现FedAvg之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了FedAvg在具有异构数据的联合图像分类中的表示学习能力。

May, 2022

本文提出了一种名为FedNH的新方法，通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。

Dec, 2022

利用全局特征知识进行本地表示学习的显式本地-全局特征对齐，以及针对每个客户端量化分类器组合的优点，导出一个优化问题来估计最优权重，有效地处理异构数据场景。

Jun, 2023

研究通过实验证明FedFN学习方法在训练模型时依然可以保持高效性能，尤其在面对数据异质性和特征表征等问题时表现优异。

Nov, 2023

通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力，并通过信息聚合实现跨客户端的模型参数融合。

Feb, 2024

通过表示学习的方法，将深度学习模型分解为更密集的部分，并应用适当的调度方法以解决数据和类别的异质性，从而提高个性化联邦学习算法的准确性并降低计算成本。

Apr, 2024

基于模型异构的个性化联邦学习通过自适应特征混合（pFedAFM）实现了训练不同结构个性化模型的联邦学习客户端，以应对非独立同分布的本地数据。

Apr, 2024

个性化联邦学习中，通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的PFL方法，即类别级联联邦平均（cwFedAVG），该方法在服务器端按类别执行联邦平均（FedAVG），创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布（由深度网络权重的L2-范数导出），加权整合这些全局模型，避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示，cwFedAVG可以与多个现有的PFL方法相媲美甚至更好。值得注意的是，cwFedAVG在概念上简单而计算高效，通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了cwFedAVG如何实现了各自类别分布上的本地模型专业化，同时全局模型捕获了跨客户端的类别相关信息。

Jun, 2024