通过客户特定的提示生成在联邦学习中进行高效模型个性化
本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。
Dec, 2020
本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。
Sep, 2021
提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。
May, 2023
通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。
Aug, 2023
通过使用预先训练的视觉语言模型（VLM）调整提示，联邦提示学习（FPL）将大规模预训练的视觉语言模型（VLM）整合到联邦学习中，以达到在个性化和泛化之间取得平衡的目标。
May, 2024
Pa3dFL是一个增强容量异构模型的新型框架，通过解耦和选择性地在容量异构模型之间共享知识，提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数，并保持通用参数在客户端之间的统一大小并进行直接平均聚合，然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数，最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验，我们的研究结果表明Pa3dFL在不同的异构设置下始终优于基准方法。此外，与基准方法相比，Pa3dFL表现出竞争性的通信和计算效率，突显了它在不利系统条件下的实用性和适应性。
May, 2024
本研究针对联邦学习中客户端数据分布存在异质性的问题，该问题导致模型在某些客户端的数据上表现不佳。研究提出了一种个性化微调的方法，分析了对抗性客户端对全合作性能的影响，结果表明通过减少合作水平可显著提高个性化模型的表现，尤其是在存在对抗性客户端的情况下。
Sep, 2024
本研究解决了传统联邦学习在异构客户端下训练结果不稳定的问题。提出了一种新颖的方法，将表示学习视为生成建模任务，并通过算法pFedFDA有效生成适应本地特征分布的个性化模型。通过广泛的计算机视觉基准测试，证明该方法在数据稀缺环境下显著优于现有最先进技术。
Nov, 2024