FedQUIT：通过准合格虚拟教师进行设备端的联邦遗忘学习

Aug, 2024

FedQUIT：通过准合格虚拟教师进行设备端的联邦遗忘学习

FedQUIT: On-Device Federated Unlearning via a Quasi-Competent Virtual Teacher

Alessio Mora, Lorenzo Valerio, Paolo Bellavista, Andrea Passarella

TL;DR本研究针对现有联邦学习在参与者行使被遗忘权时 performance 损失的问题，提出了一种新算法 FedQUIT，利用知识蒸馏技术高效地去除遗忘数据对全局模型的贡献，同时保持其泛化能力。实验结果显示，FedQUIT 在进行遗忘后仅需额外 2.5% 的通信轮次即可恢复泛化性能，实现了一种高效的、可用于集中式和联邦设置的解决方案。

Abstract

Federated Learning (FL) promises better Privacy guarantees for individuals' data when machine learning models are collaboratively trained. When an FL participant exercises its right to be forgotten, i.e., to deta

发现论文，激发创造

FedPrune：走向包容性联邦学习

提出了一种叫作FedPrune的系统，通过剪枝全局模型来解决Federated learning中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与Federated Averaging相比，FedPrune提供了更好的鲁棒性和公平性。

Oct, 2021

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

联邦学习中的被遗忘权利：一种高效的快速重训练实现

本研究旨在研究联邦学习（FL）系统中的机器非重学习问题，提出了一种快速数据淘汰方法以保护数据隐私，并在四项真实数据集上进行了测试和分析。

Mar, 2022

联邦不学习：如何高效删除FL中的客户端?

在保护用户隐私的前提下，提出了一种联邦学习模型中去除任意客户数据的方法，即通过执反向梯度下降法使局部经验损失最大化，以解决被遗忘权(DP)的问题，并在 MNIST 数据集上进行了实验验证。

Jul, 2022

降低信息泄漏和计算的联邦学习

Upcycled-FL是一种新颖的联邦学习框架，应用在每个偶数迭代中的一阶逼近，以在保持隐私的同时提高隐私-准确性平衡，并通过引入扰动机制来保护隐私。实验表明，Upcycled-FL在异构数据上持续优于现有方法，并且平均减少48％的训练时间。

Oct, 2023

联邦反学习综述：分类、挑战与未来方向

随着可信任的联邦学习（FL）的发展，实施被遗忘权引起了联邦遗忘（FU）领域，与机器遗忘相比，FU的主要挑战在于FL的分散化和保护隐私的特性，其中客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息变得更加复杂。针对此问题，我们对FU进行了全面的调查，提供了现有的算法、目标、评价指标，并确定了一些FU的挑战。通过回顾和比较一些研究，我们将它们总结为各种方案、潜在应用和未来方向的分类。

Oct, 2023

联邦取消学习：方法、设计指导和评估指标综述

本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

Jan, 2024

通信高效且可证明的联邦反学习

研究联邦去学习问题，解决个别客户或数据对通过联邦学习得到的全局模型的影响，推导出所删除数据的无合差异性模型。引入了一种新的完全联邦去学习框架，满足通信效率和完全去学习可证明性的两个基本条件。通过定义确切的联邦去学习，保证无学习之后的模型与未删除数据时训练的模型在统计上无差异。利用模型参数对数据集轻微变化的变动程度来实现快速联邦去学习的关键特性：总变差稳定性。利用这一洞见，我们开发了一种名为FATS的总变差稳定的联邦学习算法，修改了经典的FedAvg算法以实现轮次通信的降低。我们还设计了针对FATS的高效去学习算法，包括客户级和样本级的去学习。我们提供了学习和去学习算法的理论保证，证明它们在原始模型和去学习模型上都达到了确切的联邦去学习，并具有合理的收敛速度。在6个基准数据集上经过实证验证，展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。

Jan, 2024

快速FedUL：具备可证明偏差韧性的无需训练的联邦去学习

为了保护训练数据的隐私权，研究提出了一种适用于联邦学习的定制反学习方法，Fast-FedUL，它能够完全消除重新训练的需要，并通过对目标客户在每一轮中对全局模型的影响进行细致分析，开发出一种算法系统地从训练模型中移除目标客户的影响，而保留非目标客户的知识。该方法能够有效地消除几乎所有与目标客户相关的痕迹，同时在主要任务上达到高达98%的准确率，并且速度比重新训练快1000倍。

May, 2024

面向联邦域去学习的验证方法和挑战

我们的研究第一次全面系统地研究了多领域上下文中现有技术在联邦领域消除中的特征和挑战，揭示了忽视领域特定数据对模型行为的细微影响所造成的性能下降和准确性损失。为此，我们提出了专为联邦领域消除量身定制的新型评估方法，旨在在不损害模型整体完整性和性能的情况下准确评估和验证领域特定数据的消除，为联邦学习中的领域中心化消除策略提供了切实可行的先例。

Jun, 2024