ICLRApr, 2022

仅使用未标记数据的联邦学习与条件共享客户端

PDF
TL;DR本文介绍未监督联邦学习，通过共享客户拥有的未标记数据的条件分布，移动类先验概率，并将客户拥有的未标记数据转换为每个客户的替代标记数据，从而在联邦学习中实现模型的共享，即联邦未监督学习（FedUL）模型。FedUL 是通用的未监督联邦学习解决方案，可兼容许多监督 FL 方法，实验结果表明了 FedUL 的有效性。
supervised federated learningunsupervised federated learningsurrogate labeled dataclient-owned unlabeled dataclass-prior probabilities
发现论文，激发创造
  • 重思半监督联邦学习：如何同时训练具有完全标记和完全未标记的客户端影像数据

    通过提出的分离联合学习（IsoFed）方案，本文研究了在半监督联邦学习中有效训练具有带标签和无标签客户端的方法，并在四种不同模态的医学图像数据集上评估了模型性能，并在不同的实验设置下验证了所提出方法的有效性。

    Oct, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 无需完整标记的联邦学习综述

    本研究探讨了如何利用无标签数据与机器学习技术解决联邦学习（FL）中无全标签数据的问题，并提出了半监督学习、自监督学习和迁移学习方法，对用于评估无标签 FL 方法的数据集进行了总结，最后还在无全标签 FL 上强调了未来的研究方向。

    Mar, 2023

  • 有效的半监督异构参与者联邦学习

    在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

    Jul, 2023

  • UPFL：面向新客户的无监督个性化联邦学习

    在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法 FedTTA。我们通过使用代理正则化和熵提前停止调整来改进 FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对 FedTTA 设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的 FedTTA 及其变种的有效性。

    Jul, 2023

  • 客户监督的联邦学习：朝着通用个性化模型

    通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

    Mar, 2024

  • UFed-GAN：带有约束计算和无标签数据的安全联邦学习框架

    本研究提出了一种新的 UFed-GAN 框架，用于在资源受限和缺少标签的环境中的联合学习，该框架可以捕捉用户端数据分布，同时保护隐私。实验结果表明，UFed-GAN 在解决计算资源有限、数据缺少标签和保护隐私方面具有巨大潜力。

    Aug, 2023

  • 轻量级无监督的预训练视觉语言模型联邦学习

    我们提出了一种轻量级的无监督联邦学习方法，通过利用每个客户端上的无标签数据进行轻量级模型训练和通信，从而解决监督式联邦学习中存在的挑战。该方法利用预训练的视觉 - 语言模型（例如 CLIP）的零样本预测能力和经过训练的图像编码器，通过在固定图像编码器之上训练一个线性分类器来改进无标签实例的初始零样本预测伪标签，并提出了一种用于生成特征空间中的合成实例的类平衡文本特征采样策略以解决每个客户端的数据异质性。实验证明，我们的方法大大提高了模型性能，与 CLIP 的零样本预测相比，甚至超过了有限计算和通信开销的监督式联邦学习基准方法。

    Apr, 2024

  • 降低信息泄漏和计算的联邦学习

    Upcycled-FL 是一种新颖的联邦学习框架，应用在每个偶数迭代中的一阶逼近，以在保持隐私的同时提高隐私 - 准确性平衡，并通过引入扰动机制来保护隐私。实验表明，Upcycled-FL 在异构数据上持续优于现有方法，并且平均减少 48％的训练时间。

    Oct, 2023

  • 通过客户间关系匹配的联合半监督医学图像分类

    本论文研究了一个名为 Federated Semi-supervised Learning 的实际而具有挑战性的问题，旨在通过联合利用标记和未标记客户的数据来学习联邦模型，并提供了一种新颖的方法来通过与新的客户关系匹配方案来改进传统的一致性正则化机制在实际医院数据集上的有效性得到了证明。

    Jun, 2021