一种使用预训练扩散模型的单次半监督联邦学习探究

May, 2023

一种使用预训练扩散模型的单次半监督联邦学习探究

Exploring One-shot Semi-supervised Federated Learning with A Pre-trained Diffusion Model

Mingzhao Yang, Shangchao Su, Bin Li, Xiangyang Xue

TL;DR本研究引入预训练扩散模型到联邦学习中，提出了 FedDISC 方法来解决高通信成本、客户端负担和分布差异等挑战，该方法有效地解决了非独立同分布客户端上的一次半监督问题，并通过可视化证明了数据隐私的保密性。

Abstract

federated learning is a privacy-preserving collaborative learning approach. Recently, some studies have proposed the semi-supervised federated le

federated learning semi-supervised learning diffusion models co-training privacy-preserving

发现论文，激发创造

一次性联邦学习与分类器引导的扩散模型

使用扩散模型，在一次联邦学习中引入了指导性生成数据，避免了现实场景中常见的辅助数据集或训练生成器的障碍。该方法针对异构客户模型和非独立同分布的特征或标签问题，有效处理隐私保护并在一些情况下超越集中式训练的性能上限，从而形成性能更高的聚合模型。

Nov, 2023

面向通信高效和隐私保护的联邦表示学习

本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

Sep, 2021

SemiFed: 带一致性和伪标记的半监督联邦学习

本文提出了一种名为 SemiFed 的新框架，它将一致性正则化和伪标记方法融合到了联合学习中，以解决跨数据中心联合学习中的部分标记问题，并证明了该方法在同质化和异质化数据分布设置下的有效性。

Aug, 2021

重思半监督联邦学习：如何同时训练具有完全标记和完全未标记的客户端影像数据

通过提出的分离联合学习（IsoFed）方案，本文研究了在半监督联邦学习中有效训练具有带标签和无标签客户端的方法，并在四种不同模态的医学图像数据集上评估了模型性能，并在不同的实验设置下验证了所提出方法的有效性。

Oct, 2023

轻量级无监督的预训练视觉语言模型联邦学习

我们提出了一种轻量级的无监督联邦学习方法，通过利用每个客户端上的无标签数据进行轻量级模型训练和通信，从而解决监督式联邦学习中存在的挑战。该方法利用预训练的视觉 - 语言模型（例如 CLIP）的零样本预测能力和经过训练的图像编码器，通过在固定图像编码器之上训练一个线性分类器来改进无标签实例的初始零样本预测伪标签，并提出了一种用于生成特征空间中的合成实例的类平衡文本特征采样策略以解决每个客户端的数据异质性。实验证明，我们的方法大大提高了模型性能，与 CLIP 的零样本预测相比，甚至超过了有限计算和通信开销的监督式联邦学习基准方法。

Apr, 2024

FedDiff：基于扩散模型的多模态和多客户联邦学习

本研究提出了一种名为 FedDiff 的多模态协同扩散联邦学习框架，旨在解决多模态遥感数据融合中的安全和效率通信问题，并通过定性和定量实验证实了该框架在图像质量和条件一致性方面的超越优势。

Nov, 2023

单一共享图像的联邦学习

通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

Jun, 2024

隐私敏感视觉任务的扩散模型联邦学习

通过实验和研究，我们发现联邦扩散模型在隐私敏感领域提供视觉服务方面具有巨大潜力。

Nov, 2023

基于联邦半监督学习的医学图像分割，具备客户内部和客户间一致性

本论文提出了一种针对医学图像分割的新型联邦半监督学习框架，引入了客户端内和客户端间的一致性学习，通过客户端合作训练的变分自编码器（VAE）协助实现，相比其他联邦半监督学习方法，实验结果表明本方法性能更好且避免了大量的计算和通信开销。

Mar, 2024

通过扩散模型在一次性联邦学习中解决异质性和隐私问题

本研究探讨了扩散模型在一次性联邦学习中的有效性，证明其在应对数据异构性和提高联邦学习性能方面的适用性，并与其他一次性联邦学习方法在差分隐私下的效用进行了比较。此外，为了在差分隐私设置下提高生成样本的质量，我们提出了一种实用的傅里叶幅度过滤（FMF）方法，增强了全局模型训练的生成数据的有效性。

May, 2024