Feb, 2023

FedCLIP: 基于联邦学习的 CLIP 模型快速泛化和个性化

PDF
TL;DR本文提出了一种名为 FedCLIP 的有效且简单的方法，通过为大型模型 CLIP 设计一个基于注意力的适配器，其余操作仅依赖于适配器，从而实现了联邦学习中 CLIP 的快速归纳和个性化。实验表明，FedCLIP 在计算和通信成本方面显着优于其他基线。
federated learningprivacy-preserving computationdata distribution heterogeneityresource costsclip
发现论文，激发创造
  • 基于 CLIP 引导的异构和长尾数据联邦学习

    采用 CLIP 指导的联合学习（CLIP2FL）方法在异构和长尾数据上进行了研究，通过使用 CLIP 模型的知识转移，构建客户端和服务器之间的桥梁，改善了客户端特征表示能力，生成联合特征以重新训练服务器模型，以减轻用户异构性和类分布不平衡问题。

    Dec, 2023

  • FedCliP: 客户端修剪的联邦学习

    本研究提出了一种新的通信高效的联邦学习（FL）框架 FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。

    Jan, 2023

  • 联合提示学习中通用化与个性化的协调

    通过使用预先训练的视觉语言模型（VLM）调整提示，联邦提示学习（FPL）将大规模预训练的视觉语言模型（VLM）整合到联邦学习中，以达到在个性化和泛化之间取得平衡的目标。

    May, 2024

  • 自适应剪裁差分隐私学习

    该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法，它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题，并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。

    May, 2019

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 适应适应性：跨数据源联邦学习个性化学习

    本文提出了 APPLE，这是一个个性化的跨平台联邦学习框架，在不均匀的数据集上实现了最先进的性能表现，并灵活控制了全局和本地目标的焦点。

    Oct, 2021

  • FastCLIP：有限资源加速 CLIP 训练的一套优化技术

    该论文探索了在有限资源下进行 Contrastive Language-Image Pretraining (CLIP) 训练的几个方面，介绍了 FastCLIP 框架及其在资源有限环境下的显著改进。

    Jul, 2024

  • 轻量级无监督的预训练视觉语言模型联邦学习

    我们提出了一种轻量级的无监督联邦学习方法，通过利用每个客户端上的无标签数据进行轻量级模型训练和通信，从而解决监督式联邦学习中存在的挑战。该方法利用预训练的视觉 - 语言模型（例如 CLIP）的零样本预测能力和经过训练的图像编码器，通过在固定图像编码器之上训练一个线性分类器来改进无标签实例的初始零样本预测伪标签，并提出了一种用于生成特征空间中的合成实例的类平衡文本特征采样策略以解决每个客户端的数据异质性。实验证明，我们的方法大大提高了模型性能，与 CLIP 的零样本预测相比，甚至超过了有限计算和通信开销的监督式联邦学习基准方法。

    Apr, 2024

  • 面向异构客户的个性化联邦学习与聚类知识迁移

    本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

    Sep, 2021

  • FedNLP: 自然语言处理联邦学习方法的基准测试

    本研究提出 FedNLP 框架，用于比较研究隐私保护、分散式学习方法在自然语言处理任务中的表现，并分析不同分区策略下联邦学习方法与自然语言处理的关联，为未来的研究提供借鉴。

    Apr, 2021