面向快速稳定的联邦学习：通过知识锚实现异构性对抗

MMDec, 2023

面向快速稳定的联邦学习：通过知识锚实现异构性对抗

Towards Fast and Stable Federated Learning: Confronting Heterogeneity via Knowledge Anchor

Jinqian Chen, Jihua Zhu, Qinghai Zheng

TL;DR在本文中我们通过系统分析每个类别在不同通信轮次中的本地训练中的遗忘程度，填补了对易受损类别及其影响因素的全面认识的空白。我们的观察是：(1) 不见类别和非主导类别在本地训练中都遭受到了相似的严重遗忘，而主导类别的性能有所改善。(2) 当动态减少一个主导类别的样本数量时，当其样本比例低于一定阈值时会突然发生灾难性遗忘，这表明本地模型在有效利用特定类别的少量样本以防止遗忘方面存在困难。受到这些发现的启发，我们提出了一种新颖且直接的算法称为 Federated Knowledge Anchor (FedKA)。在每个本地训练阶段之前，我们通过提取缺失类别的共享样本和随机选择每个非主导类别的一个样本构建知识锚。然后利用知识锚来校正每个小批量的梯度，以保留缺失和非主导类别的知识。大量的实验结果表明，我们提出的 FedKA 算法实现了快速稳定的收敛，在流行的基准测试中显著提高了准确性。

Abstract

federated learning encounters a critical challenge of data heterogeneity, adversely affecting the performance and convergence of the federated model. Various approaches have been proposed to address this issue, y

federated learning data heterogeneity forgetting vulnerable classes federated knowledge anchor

发现论文，激发创造

异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

通过合成锚点克服分散式联合学习中的数据和模型异质性

我们提出了一种名为 DeSA 的新型分散式联邦学习（FL）技术，通过引入合成锚点来解决分散式 FL 中的数据和模型异质性管理问题，并在领域自适应和知识蒸馏理论基础上从理论和实证上展示了其有效性。

May, 2024

异构联邦知识图谱嵌入的学习和遗忘

本文提出了一种新的 FL 框架 ——FedLU，用于异构的 KG 嵌入学习和遗忘，利用相互的知识蒸馏来处理数据异质性造成的局部优化与全局收敛之间的漂移，并提出一种基于认知神经科学的遗忘方法，结合了逆行干扰和被动衰减，通过重用知识蒸馏来从本地客户端中抹除特定的知识并传播到全局模型。实验结果表明 FedLU 在链接预测和知识遗忘方面都取得了优秀的结果。

Feb, 2023

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

重新思考联邦学习中的数据异质性：引入新概念和标准基准

我们研究了数据异质性对联邦学习的影响，发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现，当前设置中的数据异质性不一定是问题，事实上，它对 FL 参与者有益。

Sep, 2022

应对高度异质性：航空和空间网络中的联邦学习

通过使用无人机、气球和卫星，联邦学习利用大量的私有边缘数据和计算能力，为航空和航天网络中的网络和数据隐私挑战提供了一种引人注目的解决方案。然而，异质性和类别不平衡问题对于快速模型收敛仍然是一个重大障碍。本研究探讨了异质性对类别不平衡的影响，并展示了如电池寿命等约束加剧了类别不平衡挑战。我们的结果显示，与其他情景相比，在 ASN（航空航天网络）中基于联邦学习面临更严重的类别不平衡问题，现有的先进算法往往无法有效应对高水平的异质性。

Jun, 2024

FedAnchor: 为未标记的客户端增强联邦半监督学习的标签对比损失

本文提出了 FedAnchor 方法，它是一种创新的半监督学习方法，引入了独特的双头结构（称为锚头），与仅在服务器上进行训练的分类头配对，锚头使用基于余弦相似度度量的新设计标签对比损失，通过减轻伪标签技术中的确认偏见和过拟合问题，显著提高了模型的收敛速度和准确性。

Feb, 2024

回顾：联邦学习中的理解和减轻遗忘

研究探索了联邦学习中遗忘现象对算法收敛的影响，引入了度量遗忘程度的指标，并提出了一种动态蒸馏方法的联邦学习算法 Flashback，以提高模型聚合的效果和减少遗忘现象，实现更快的收敛速度和准确性。

Feb, 2024

FedAL: 由对抗学习启发的黑盒联邦知识蒸馏

本文提出了一种名为 FedAL 的基于对抗学习的联邦知识蒸馏方法，以解决不同客户端的数据异构性问题，通过使用服务器作为鉴别器指导客户端的本地模型训练，实现客户端之间的共识模型输出，并通过较少遗忘的正则化方法保证客户端之间的知识传递和学习能力。实验证明，FedAL 及其变体比其他联邦知识蒸馏方法具有更高的准确率。

Nov, 2023