异构客户端的联邦自监督学习

May, 2022

Federated Self-supervised Learning for Heterogeneous Clients

Disha Makhija, Nhat Ho, Joydeep Ghosh

TL;DR提出了一种名为 Heterogeneous Self-supervised Federated Learning（Hetero-SSFL）的统一框架，可以在异构客户端上进行协作表示学习，同时解决了系统异质性和标记数据匮乏等问题，并在非凸目标的异构性设置中提供了收敛保证，而且比现有方法表现更佳。

Abstract

federated learning has become an important learning paradigm due to its privacy and computational benefits. As the field advances, two key challenges that still remain to be addressed are: (1) system heterogeneity

federated learning heterogeneous self-supervised federated learning system heterogeneity collaborative representation learning joint learning

发现论文，激发创造

异构设置下联邦自监督学习：在 HAR 上基线方法的限制

本研究旨在提供在现实环境下使用半监督学习来评估联邦学习的参考标准，其重点在于联邦自监督学习的研究，以利用移动设备上存在的大量异构未标记数据。通过使用多个现实异构人类活动识别数据集，本研究表明标准轻量级自编码器和标准联邦平均无法学习人类活动识别的稳健表示，这些发现证明了需要加强联邦自监督学习的研究。

Jul, 2022

重思半监督联邦学习：如何同时训练具有完全标记和完全未标记的客户端影像数据

通过提出的分离联合学习（IsoFed）方案，本文研究了在半监督联邦学习中有效训练具有带标签和无标签客户端的方法，并在四种不同模态的医学图像数据集上评估了模型性能，并在不同的实验设置下验证了所提出方法的有效性。

Oct, 2023

SSFL: 通过个性化自监督解决联合学习中的标签不足问题

本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如 Per-SSFL、FedAvg 和 SimSiam 等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

Oct, 2021

HeteroFL：用于异构客户端的计算与通信高效联邦学习

本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

Oct, 2020

稳健联邦学习的进展：异质性考虑

异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

May, 2024

有效的半监督异构参与者联邦学习

在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

Jul, 2023

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

高效异构联邦学习：一种基于匹配和分割学习的方法

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024