通过减少模型梯度差异提升半监督联邦学习

Aug, 2020

通过减少模型梯度差异提升半监督联邦学习

Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models

Zhengming Zhang, Yaoqing Yang, Zhewei Yao, Yujun Yan, Joseph E. Gonzalez...

TL;DR在研究中，我们探究了半监督联邦学习 (SSFL) 中模型梯度多样性的问题，并提出了一种基于组群的模型平均方法，同时使用一些设计选择，如一致性正则化 (CRL) 和分组归一化 (GN)，进一步提高了测试准确性。在相同设置下，我们的方法比当前关于 SSFL 的同类研究和其他四种监督联邦学习算法效果更好 (>10%)。

Abstract

federated learning (FL) is a promising way to use the computing power of mobile devices while maintaining the privacy of users. Current work in FL, however, makes the unrealistic assumption that the users have ground-truth labels on their devices, while also assuming that the server ha

federated learning semi-supervised learning consistency regularization loss batch normalization group normalization

发现论文，激发创造

有效的半监督异构参与者联邦学习

在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

Jul, 2023

SSFL: 通过个性化自监督解决联合学习中的标签不足问题

本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如 Per-SSFL、FedAvg 和 SimSiam 等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

Oct, 2021

半联邦学习：混合学习框架的收敛分析与优化

通过提出一种半联合学习（SemiFL）范式，将基站（BS）和设备的计算能力结合起来，实现集中式学习（CL）和联邦学习（FL）的混合实施。通过设计一种新颖的收发器结构，将空中计算和非正交多址接入应用于聚合和传输，提高了通信效率，并证明了 FL 和 CL 是 SemiFL 的特例。然后，通过联合优化发送功率和接收波束形成器来减小最优性差距，并提供了解析解。两个真实数据集上的广泛模拟实验结果证实了我们的理论分析，并显示相比于最先进的基准，所提出的 SemiFL 在 MNIST 数据集上取得了 3.2% 的准确度提高。

Oct, 2023

降低异构设备中联邦学习的群体偏差

我们提出了一个群体公平的联邦学习框架，旨在在保护隐私和没有资源利用开销的情况下，减少群体偏见。我们通过利用平均条件概率来计算由异构训练数据得出的跨领域群体重要性权重，使用修改的乘法权重更新方法来优化表现最差的群体的性能。此外，我们提出了正则化技术来最小化最差和最好表现群体之间的差异，同时通过阈值机制确保在减少偏见和群体表现下降之间取得平衡。我们对人类情绪识别和图像分类基准进行了评估，以评估我们的框架在实际异构环境中的公平决策能力。

Sep, 2023

基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

Aug, 2020

基于分组串并训练的异构联邦学习

本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

Jan, 2022

基于梯度蒙版的联邦学习平均化

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022

使用增广拉格朗日方法处理联邦学习中的群体公平性

该研究提出了一种新的联邦学习算法，专门解决群体公平性问题，该算法在统计异质性和不同数量的客户端存在的情况下，既可以定量又可以定性地改善公平性，并几乎不影响准确度，并且与本地差分隐私兼容，通信成本微不足道。这一算法对于提高敏感应用领域（如医疗保健或刑法司法）的联邦学习系统的公平性和有效性具有重要的潜力。

Jul, 2023

FedAnchor: 为未标记的客户端增强联邦半监督学习的标签对比损失

本文提出了 FedAnchor 方法，它是一种创新的半监督学习方法，引入了独特的双头结构（称为锚头），与仅在服务器上进行训练的分类头配对，锚头使用基于余弦相似度度量的新设计标签对比损失，通过减轻伪标签技术中的确认偏见和过拟合问题，显著提高了模型的收敛速度和准确性。

Feb, 2024

GraphFL: 用于图上半监督节点分类的联邦学习框架

提供了第一个 FL 框架 (GraphFL)，用于解决非 IID 问题，处理新标签域的任务以及利用未标记的图形数据，使用代表性的图神经网络作为 GraphSSC 方法，并在多个图形数据集上评估，结果表明 GraphFL 显着优于比较的 FL 基线，GraphFL 通过自我训练可以获得更好的性能。

Dec, 2020