QuickDrop: 集成数据集蒸馏的高效联邦去学习

Nov, 2023

QuickDrop: 集成数据集蒸馏的高效联邦去学习

QuickDrop: Efficient Federated Unlearning by Integrated Dataset Distillation

Akash Dhasade, Yaohong Ding, Song Guo, Anne-marie Kermarrec, Martijn De Vos...

TL;DRFederated Unlearning (FU) 通过 QuickDrop 方法，利用 dataset distillation (DD) 在 Federated Learning (FL) 模型中删除特定的训练数据，从而显著降低计算开销并加快 unlearning 的速度。

Abstract

federated unlearning (FU) aims to delete specific training data from an ML model trained using Federated Learning (FL). We introduce quickdrop, an efficient and original FU method that utilizes →

federated unlearning quickdrop dataset distillation stochastic gradient ascent computational overhead

发现论文，激发创造

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

联邦取消学习：方法、设计指导和评估指标综述

本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

Jan, 2024

快速 FedUL：具备可证明偏差韧性的无需训练的联邦去学习

为了保护训练数据的隐私权，研究提出了一种适用于联邦学习的定制反学习方法，Fast-FedUL，它能够完全消除重新训练的需要，并通过对目标客户在每一轮中对全局模型的影响进行细致分析，开发出一种算法系统地从训练模型中移除目标客户的影响，而保留非目标客户的知识。该方法能够有效地消除几乎所有与目标客户相关的痕迹，同时在主要任务上达到高达 98% 的准确率，并且速度比重新训练快 1000 倍。

May, 2024

分布式知识图谱通过扩散模型实现遗忘

本文提出了 FedDM, 一种面向联邦知识图的模型遗忘的新框架，通过扩散模型生成噪声数据以合理地减轻特定知识对 FL 模型的影响，同时保持其对剩余数据的整体性能，并通过对基准数据集进行实验评估证明 FedDM 在知识遗忘方面具有良好的效果。

Mar, 2024

FedD2S：个性化的无数据联邦知识蒸馏

提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

Feb, 2024

精简一次性联合学习

提出了 Distilled One-Shot Federated Learning (DOSFL) 算法，通过数据集精炼和一次迭代来减少模型权重的通信量和传播轮数，达到与传统方法相当的性能和高达三个数量级的通信效率。

Sep, 2020

学习中的遗忘：高效的联邦机器遗忘方法

近年来，联邦学习作为一种分布式机器学习范式备受关注。为了促进被遗忘权的实施，联邦机器遗忘（FMU）的概念也应运而生。然而，目前的 FMU 方法往往涉及额外的耗时步骤，并且可能无法提供全面的遗忘能力，这使得它们在真实的联邦学习场景中不太实用。在本文中，我们介绍了 FedAU，这是一个创新而高效的 FMU 框架，旨在克服这些限制。具体而言，FedAU 将一个轻量级辅助遗忘模块集成到学习过程中，并采用直观的线性操作来促进遗忘。这种方法消除了额外的耗时步骤的需求，使其非常适合联邦学习。此外，FedAU 表现出了卓越的多功能性。它不仅可以使多个客户端同时执行遗忘任务，还支持以不同粒度进行遗忘，包括个体数据样本、特定类别，甚至在客户端级别进行遗忘。我们在 MNIST、CIFAR10 和 CIFAR100 数据集上进行了大量实验，评估了 FedAU 的性能。结果表明，FedAU 在保持模型准确性的同时有效地实现了所需的遗忘效果。

May, 2024

单一共享图像的联邦学习

通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

Jun, 2024

编码联邦 Dropout 的快速服务器学习率调整

本文利用编码理论来提高跨设备联合学习中的 Federated Dropout（FD）算法的训练精度，实现了较高的训练速度和与无 Dropout 情况下相同的最终精度，并在 EMNIST 数据集上取得了很好的效果。

Jan, 2022

通信高效且可证明的联邦反学习

研究联邦去学习问题，解决个别客户或数据对通过联邦学习得到的全局模型的影响，推导出所删除数据的无合差异性模型。引入了一种新的完全联邦去学习框架，满足通信效率和完全去学习可证明性的两个基本条件。通过定义确切的联邦去学习，保证无学习之后的模型与未删除数据时训练的模型在统计上无差异。利用模型参数对数据集轻微变化的变动程度来实现快速联邦去学习的关键特性：总变差稳定性。利用这一洞见，我们开发了一种名为 FATS 的总变差稳定的联邦学习算法，修改了经典的 FedAvg 算法以实现轮次通信的降低。我们还设计了针对 FATS 的高效去学习算法，包括客户级和样本级的去学习。我们提供了学习和去学习算法的理论保证，证明它们在原始模型和去学习模型上都达到了确切的联邦去学习，并具有合理的收敛速度。在 6 个基准数据集上经过实证验证，展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。

Jan, 2024