具备分歧感知的联邦自监督学习

ICLRApr, 2022

Divergence-aware Federated Self-Supervised Learning

Weiming Zhuang, Yonggang Wen, Shuai Zhang

TL;DR通过具体实验研究发现了联邦自监督学习的深入见解，并提出了一种新的方法用于解决分散数据的非独立同分布问题。该方法称为 FedEMA，它使用全局模型的 EMA 来自适应地更新客户端的本地模型，并采用动态度量模型发散的的衰减速率。实验结果表明，FedEMA 在线性评估上的性能比现有方法高 3-4％。

Abstract

self-supervised learning (SSL) is capable of learning remarkable representations from centrally available data. Recent works further implement federated learning with SSL to learn from rapidly growing decentraliz

self-supervised learning federated learning siamese networks non-iid data model update

发现论文，激发创造

FedSC: 基于非独立同分布数据的具有光谱对比目标的可证明联邦自监督学习

最近的研究努力将自监督学习与联邦学习框架相结合。提出一种名为 FedSC 的可证明的 FedSSL 算法，基于光谱对比目标，通过周期性共享数据表示的相关矩阵，实现了跨客户数据样本的对比，改善了数据表示的质量，并部署差分隐私保护来控制额外的隐私泄露。实验证实了我们提出算法的有效性。

May, 2024

面向联邦开放世界半监督学习的无偏训练

本文提出了一种新的 Federatedopen-world Semi-Supervised Learning（FedoSSL）框架，可解决分布式和开放式环境下训练过程中异构分布未知类所导致的偏差，通过使用抑制损失增强聚合效果和校准模块确保知识传递一致，已在 CIFAR-10， CIFAR-100 和 CINIC-10 等真实数据集上进行了验证。

May, 2023

LW-FedSSL：资源高效的逐层联邦自监督学习

提出一种层次化的联邦自监督学习方法 (LW-FedSSL)，通过在 FL 环境中利用资源丰富的服务器进行全局模型训练，以及在 FL 本地模型与全局模型之间建立紧密联系的表示对齐机制，实现了与端到端 FedSSL 相当的性能，同时显著降低客户端的资源需求。实验证明 LW-FedSSL 的内存需求较其端到端对应物少 3.3 倍，并且通信成本便宜 3.2 倍。同时，还探索了一种名为 Prog-FedSSL 的渐进训练策略，其在类似内存需求的情况下，通信成本便宜 1.8 倍，优于端到端训练。

Jan, 2024

探索面向通用音频理解的联邦自监督学习

通过将联邦学习（FL）与自监督学习（SSL）相结合，可以在不损害用户数据隐私的情况下利用音频数据进行通用音频理解。本文评估了在大规模非独立同分布（non-iid）数据生成的情况下，将特征匹配和预测式音频自监督学习技术与 FL 相结合的性能，提出一种名为 FASSL 的新型联邦自监督学习（F-SSL）框架，并通过广泛实验证明了 FASSL 的有效性和重要性，从而有助于获得最佳的全局模型。

Feb, 2024

面向通信高效和隐私保护的联邦表示学习

本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

Sep, 2021

L-DAWA：联邦自监督视觉表示学习中的分层散度感知权重聚合

该研究提出了一种新的聚合策略 Layer-wise Divergence Aware Weight Aggregation (L-DAWA)，通过在聚合时考虑客户端模型和全局模型之间的角度差异，缓解了联邦学习聚合时客户端偏差和差异带来的影响，在多个数据集上验证了其有效性，并得出了对比性和非对比性自监督方法的 SOTA 表现。

Jul, 2023

原型网络的联邦半监督学习

ProtoFSSL 是一种新颖的基于原型网络的半监督 FL 方法，它通过轻量级原型实现客户端之间的知识共享，减少了通信和计算成本，并在多个数据集上实现了更高的准确性。

May, 2022

RSCFed: 随机采样共识联邦半监督学习

该研究提出了一种考虑不同类型客户端的随机采样一致性联邦学习算法，即 RSCFed，通过子取样一致性模型的蒸馏和重加权模型聚合来实现，该方法在自然和医学图像等三个基准数据集上表现优于现有方法。

Mar, 2022

异构客户端的联邦自监督学习

提出了一种名为 Heterogeneous Self-supervised Federated Learning（Hetero-SSFL）的统一框架，可以在异构客户端上进行协作表示学习，同时解决了系统异质性和标记数据匮乏等问题，并在非凸目标的异构性设置中提供了收敛保证，而且比现有方法表现更佳。

May, 2022

去中心化非独立同分布未标记数据的学习是否受自监督益处？

本研究以自监督学习为切入点，研究了在无标签数据的去中心化学习中，一系列对比学习算法的有效性。在实验结果中，该方法对去中心化数据集的异质性具有鲁棒性，并学习到了目标分类、检测和分割任务的有用表示，同时可以显著降低通信和参与数据源的比例。我们的研究为接受无标签数据的去中心化学习提供了积极的证据，并希望能够提供新的见解，证明和解释分散式自监督学习的有效性。

Oct, 2022