本文提出了一种名为 FedCLIP 的有效且简单的方法，通过为大型模型 CLIP 设计一个基于注意力的适配器，其余操作仅依赖于适配器，从而实现了联邦学习中 CLIP 的快速归纳和个性化。实验表明，FedCLIP 在计算和通信成本方面显着优于其他基线。

Feb, 2023

我们提出了一种轻量级的无监督联邦学习方法，通过利用每个客户端上的无标签数据进行轻量级模型训练和通信，从而解决监督式联邦学习中存在的挑战。该方法利用预训练的视觉 - 语言模型（例如 CLIP）的零样本预测能力和经过训练的图像编码器，通过在固定图像编码器之上训练一个线性分类器来改进无标签实例的初始零样本预测伪标签，并提出了一种用于生成特征空间中的合成实例的类平衡文本特征采样策略以解决每个客户端的数据异质性。实验证明，我们的方法大大提高了模型性能，与 CLIP 的零样本预测相比，甚至超过了有限计算和通信开销的监督式联邦学习基准方法。

Apr, 2024

本研究提出了一种新的通信高效的联邦学习（FL）框架 FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。

Jan, 2023

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

本文提出了一种名为 FedSeIT 的框架，用于在云边界连续性中的文本分类任务中，通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现，采用 Federated Learning 和 Continual Learning 两种范例，以在客户端之间进行有效的知识传递

Oct, 2022

通过使用预先训练的视觉语言模型（VLM）调整提示，联邦提示学习（FPL）将大规模预训练的视觉语言模型（VLM）整合到联邦学习中，以达到在个性化和泛化之间取得平衡的目标。

May, 2024

本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

Mar, 2022

提出一种混合联邦和集中式学习（HFCL）框架，采用先进的数据传输方法并在计算资源不足时使用集中式学习方法，以有效地训练学习模型，并在所有客户端合作的同时提高学习准确度。

Nov, 2020

采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

Jun, 2022

本文提出了一种新型的隐私保护联邦学习方法，通过分类器重新训练实现异构和长尾数据的隐私保护联邦特征，可在不泄露本地数据或类分布信息的情况下产生与真实数据上重新训练后的分类器相当的性能。实验结果表明，该方法是一种有效的解决方案，可在异构和长尾数据下获得有希望的联合学习模型。

Apr, 2022