GPT-FL: 基于生成式预训练模型的联邦学习
综述了 2019 年至 2024 年间的涉及联邦学习和生成模型的研究，系统比较了近 100 篇论文的方法和隐私问题，强调了最新的进展和未解决的挑战，为未来的研究提供了洞见。
May, 2024
最近发展的生成学习模型伴随着对基于生成对抗网络的联邦学习（FL）的增加兴趣。在 FL 的背景下，GAN 能够捕捉基本的客户数据结构，并能够重新生成类似于原始数据分布但不会泄露私有原始数据的样本。我们提出了一种针对 FL 中的客户异质性的新型 GAN 共享和聚合策略，即个性化 FL（PFL）。所提出的 PFL-GAN 在不同场景下解决了客户异质性问题。通过在几个知名数据集上进行严格实验的经验证明，PFL-GAN 的有效性。
Aug, 2023
我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。
Aug, 2023
本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。
Sep, 2022
通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。
Aug, 2023
提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。
Dec, 2023
通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。
Jul, 2023
通过利用预先训练的生成模型，本文探究了在缺乏先前知识的情况下可以从 Federated Learning 训练过程中看到的一系列梯度中学习先验知识的可能性。实验证明这种先验知识可以被轻易违反隐私，从而强烈建议在 FL 中需要采用额外的机制来防止隐私泄露。
Oct, 2021
使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。
Apr, 2024