LW-FedSSL：资源高效的逐层联邦自监督学习

Jan, 2024

LW-FedSSL：资源高效的逐层联邦自监督学习

LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning

Ye Lin Tun, Chu Myaet Thwal, Le Quang Huy, Minh N. H. Nguyen, Choong Seon Hong

TL;DR提出一种层次化的联邦自监督学习方法 (LW-FedSSL)，通过在 FL 环境中利用资源丰富的服务器进行全局模型训练，以及在 FL 本地模型与全局模型之间建立紧密联系的表示对齐机制，实现了与端到端 FedSSL 相当的性能，同时显著降低客户端的资源需求。实验证明 LW-FedSSL 的内存需求较其端到端对应物少 3.3 倍，并且通信成本便宜 3.2 倍。同时，还探索了一种名为 Prog-FedSSL 的渐进训练策略，其在类似内存需求的情况下，通信成本便宜 1.8 倍，优于端到端训练。

Abstract

Many recent studies integrate federated learning (FL) with self-supervised learning (SSL) to take advantage of raw training data distributed across edge devices. However, edge devices often struggle with high computation and →

federated learning self-supervised learning lw-fedssl communication costs progressive training

发现论文，激发创造

原型网络的联邦半监督学习

ProtoFSSL 是一种新颖的基于原型网络的半监督 FL 方法，它通过轻量级原型实现客户端之间的知识共享，减少了通信和计算成本，并在多个数据集上实现了更高的准确性。

May, 2022

Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Dec, 2023

具备分歧感知的联邦自监督学习

通过具体实验研究发现了联邦自监督学习的深入见解，并提出了一种新的方法用于解决分散数据的非独立同分布问题。该方法称为 FedEMA，它使用全局模型的 EMA 来自适应地更新客户端的本地模型，并采用动态度量模型发散的的衰减速率。实验结果表明，FedEMA 在线性评估上的性能比现有方法高 3-4％。

Apr, 2022

自动语音识别的联邦表示学习

使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

Aug, 2023

面向联邦开放世界半监督学习的无偏训练

本文提出了一种新的 Federatedopen-world Semi-Supervised Learning（FedoSSL）框架，可解决分布式和开放式环境下训练过程中异构分布未知类所导致的偏差，通过使用抑制损失增强聚合效果和校准模块确保知识传递一致，已在 CIFAR-10， CIFAR-100 和 CINIC-10 等真实数据集上进行了验证。

May, 2023

SSFL: 通过个性化自监督解决联合学习中的标签不足问题

本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如 Per-SSFL、FedAvg 和 SimSiam 等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

Oct, 2021

FedSC: 基于非独立同分布数据的具有光谱对比目标的可证明联邦自监督学习

最近的研究努力将自监督学习与联邦学习框架相结合。提出一种名为 FedSC 的可证明的 FedSSL 算法，基于光谱对比目标，通过周期性共享数据表示的相关矩阵，实现了跨客户数据样本的对比，改善了数据表示的质量，并部署差分隐私保护来控制额外的隐私泄露。实验证实了我们提出算法的有效性。

May, 2024

探索面向通用音频理解的联邦自监督学习

通过将联邦学习（FL）与自监督学习（SSL）相结合，可以在不损害用户数据隐私的情况下利用音频数据进行通用音频理解。本文评估了在大规模非独立同分布（non-iid）数据生成的情况下，将特征匹配和预测式音频自监督学习技术与 FL 相结合的性能，提出一种名为 FASSL 的新型联邦自监督学习（F-SSL）框架，并通过广泛实验证明了 FASSL 的有效性和重要性，从而有助于获得最佳的全局模型。

Feb, 2024

FedAnchor: 为未标记的客户端增强联邦半监督学习的标签对比损失

本文提出了 FedAnchor 方法，它是一种创新的半监督学习方法，引入了独特的双头结构（称为锚头），与仅在服务器上进行训练的分类头配对，锚头使用基于余弦相似度度量的新设计标签对比损失，通过减轻伪标签技术中的确认偏见和过拟合问题，显著提高了模型的收敛速度和准确性。

Feb, 2024

L-DAWA：联邦自监督视觉表示学习中的分层散度感知权重聚合

该研究提出了一种新的聚合策略 Layer-wise Divergence Aware Weight Aggregation (L-DAWA)，通过在聚合时考虑客户端模型和全局模型之间的角度差异，缓解了联邦学习聚合时客户端偏差和差异带来的影响，在多个数据集上验证了其有效性，并得出了对比性和非对比性自监督方法的 SOTA 表现。

Jul, 2023