Apr, 2024

轻量级无监督的预训练视觉语言模型联邦学习

PDF
TL;DR我们提出了一种轻量级的无监督联邦学习方法，通过利用每个客户端上的无标签数据进行轻量级模型训练和通信，从而解决监督式联邦学习中存在的挑战。该方法利用预训练的视觉 - 语言模型（例如 CLIP）的零样本预测能力和经过训练的图像编码器，通过在固定图像编码器之上训练一个线性分类器来改进无标签实例的初始零样本预测伪标签，并提出了一种用于生成特征空间中的合成实例的类平衡文本特征采样策略以解决每个客户端的数据异质性。实验证明，我们的方法大大提高了模型性能，与 CLIP 的零样本预测相比，甚至超过了有限计算和通信开销的监督式联邦学习基准方法。
federated learningunsupervised learningclip modelself-training approachdata heterogeneity
发现论文，激发创造
  • 基于 CLIP 引导的异构和长尾数据联邦学习

    采用 CLIP 指导的联合学习（CLIP2FL）方法在异构和长尾数据上进行了研究，通过使用 CLIP 模型的知识转移，构建客户端和服务器之间的桥梁，改善了客户端特征表示能力，生成联合特征以重新训练服务器模型，以减轻用户异构性和类分布不平衡问题。

    Dec, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • 一种使用预训练扩散模型的单次半监督联邦学习探究

    本研究引入预训练扩散模型到联邦学习中，提出了 FedDISC 方法来解决高通信成本、客户端负担和分布差异等挑战，该方法有效地解决了非独立同分布客户端上的一次半监督问题，并通过可视化证明了数据隐私的保密性。

    May, 2023

  • 重思半监督联邦学习：如何同时训练具有完全标记和完全未标记的客户端影像数据

    通过提出的分离联合学习（IsoFed）方案，本文研究了在半监督联邦学习中有效训练具有带标签和无标签客户端的方法，并在四种不同模态的医学图像数据集上评估了模型性能，并在不同的实验设置下验证了所提出方法的有效性。

    Oct, 2023

  • 仅使用未标记数据的联邦学习与条件共享客户端

    本文介绍未监督联邦学习，通过共享客户拥有的未标记数据的条件分布，移动类先验概率，并将客户拥有的未标记数据转换为每个客户的替代标记数据，从而在联邦学习中实现模型的共享，即联邦未监督学习（FedUL）模型。FedUL 是通用的未监督联邦学习解决方案，可兼容许多监督 FL 方法，实验结果表明了 FedUL 的有效性。

    Apr, 2022

  • 去中心化数据协作无监督视觉表征学习

    该研究提出了一种名为 FedU 的联邦无监督学习框架，可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示，并针对数据的非独立同分布问题提出了有效方法，实验证明其优于其他方法。

    Aug, 2021

  • 联邦式少样本学习

    本文介绍了一种新颖的问题：在联合学习场景下，如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题，提出了联合少样本学习框架，并进行了大量实验，证明了该框架的有效性。

    Jun, 2023

  • 基于对比编码器预训练的聚类联邦学习用于异种数据

    使用自监督对比学习和客户端聚类的方法，提出了基于对比预训练的聚类联合学习方法，以改善联邦学习系统的模型收敛性和性能。

    Nov, 2023

  • 少样本情况下的联邦自然语言处理

    本研究探讨了在缺乏训练样本标签的情况下，如何通过建立一种命名为 FFNLP 的系统，使用伪标注技术和提示学习技术的算法进化来实现联邦学习模型的训练，以优化移动设备自然语言处理 (NLP) 应用程序的性能。

    Dec, 2022