联邦取消学习：方法、设计指导和评估指标综述

Jan, 2024

联邦取消学习：方法、设计指导和评估指标综述

Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics

Nicolò Romandini, Alessio Mora, Carlo Mazzocca, Rebecca Montanari, Paolo Bellavista

TL;DR本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

Abstract

federated learning (FL) enables collaborative training of a Machine Learning (ML) model across multiple parties, facilitating the preservation of users' and institutions' privacy by keeping data stored locally. Instead of centralizing raw data, FL exchanges locally refined model parame

federated learning privacy preservation federated unlearning data removal malicious contributions

发现论文，激发创造

SoK：联邦反学习的挑战与机遇

这篇论文从事一项关于联邦消除学习（federated unlearning）的研究，通过对已发表的联邦学习消除（FL unlearning）相关论文的分类和分析，探讨了联邦学习消除领域的研究趋势和挑战，比较了现有联邦学习消除方法的影响消除和性能恢复能力，以及他们的假设和局限性。该研究为未来联邦学习消除的研究提供了洞见和建议。

Mar, 2024

驱动群体智能的联邦学习大语言模型：调查报告

调查了联邦学习大型语言模型的最新进展，重点关注了机器遗忘这一关键方面，以符合数据隐私和被遗忘权等隐私法规；通过探索各种策略，如扰动技术、模型分解和增量学习等，而无需从头重新训练，实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献，强调它们对于维持模型性能和数据隐私的意义；此外，通过案例研究和实验结果，评估这些方法在实际场景中的有效性和效率；调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注，也为未来研究提供了重要领域。

Jun, 2024

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

联邦反学习综述：分类、挑战与未来方向

随着可信任的联邦学习（FL）的发展，实施被遗忘权引起了联邦遗忘（FU）领域，与机器遗忘相比，FU 的主要挑战在于 FL 的分散化和保护隐私的特性，其中客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息变得更加复杂。针对此问题，我们对 FU 进行了全面的调查，提供了现有的算法、目标、评价指标，并确定了一些 FU 的挑战。通过回顾和比较一些研究，我们将它们总结为各种方案、潜在应用和未来方向的分类。

Oct, 2023

学习中的遗忘：高效的联邦机器遗忘方法

近年来，联邦学习作为一种分布式机器学习范式备受关注。为了促进被遗忘权的实施，联邦机器遗忘（FMU）的概念也应运而生。然而，目前的 FMU 方法往往涉及额外的耗时步骤，并且可能无法提供全面的遗忘能力，这使得它们在真实的联邦学习场景中不太实用。在本文中，我们介绍了 FedAU，这是一个创新而高效的 FMU 框架，旨在克服这些限制。具体而言，FedAU 将一个轻量级辅助遗忘模块集成到学习过程中，并采用直观的线性操作来促进遗忘。这种方法消除了额外的耗时步骤的需求，使其非常适合联邦学习。此外，FedAU 表现出了卓越的多功能性。它不仅可以使多个客户端同时执行遗忘任务，还支持以不同粒度进行遗忘，包括个体数据样本、特定类别，甚至在客户端级别进行遗忘。我们在 MNIST、CIFAR10 和 CIFAR100 数据集上进行了大量实验，评估了 FedAU 的性能。结果表明，FedAU 在保持模型准确性的同时有效地实现了所需的遗忘效果。

May, 2024

面向联邦域去学习的验证方法和挑战

我们的研究第一次全面系统地研究了多领域上下文中现有技术在联邦领域消除中的特征和挑战，揭示了忽视领域特定数据对模型行为的细微影响所造成的性能下降和准确性损失。为此，我们提出了专为联邦领域消除量身定制的新型评估方法，旨在在不损害模型整体完整性和性能的情况下准确评估和验证领域特定数据的消除，为联邦学习中的领域中心化消除策略提供了切实可行的先例。

Jun, 2024

联邦不学习：如何高效删除 FL 中的客户端？

在保护用户隐私的前提下，提出了一种联邦学习模型中去除任意客户数据的方法，即通过执反向梯度下降法使局部经验损失最大化，以解决被遗忘权 (DP) 的问题，并在 MNIST 数据集上进行了实验验证。

Jul, 2022

主动遗忘的联邦取消学习

基于增量学习、主动遗忘和弹性权重约束的新型联邦遗忘框架，有效解决联邦学习中的遗忘问题。

Jul, 2023

基于模型解释的联邦机器遗忘的选择性参数更新

提出了一种基于模型解释的更有效和高效的联邦遗忘方案，通过理解深层网络和个别通道重要性，选择已训练模型中对需要遗忘的数据至关重要的通道，并对这些通道进行微调，以消除这些数据的贡献。实验结果表明该方法的有效性。

Jun, 2024

快速 FedUL：具备可证明偏差韧性的无需训练的联邦去学习

为了保护训练数据的隐私权，研究提出了一种适用于联邦学习的定制反学习方法，Fast-FedUL，它能够完全消除重新训练的需要，并通过对目标客户在每一轮中对全局模型的影响进行细致分析，开发出一种算法系统地从训练模型中移除目标客户的影响，而保留非目标客户的知识。该方法能够有效地消除几乎所有与目标客户相关的痕迹，同时在主要任务上达到高达 98% 的准确率，并且速度比重新训练快 1000 倍。

May, 2024