可扩展的孤立与编码分片联邦去学习

Jan, 2024

可扩展的孤立与编码分片联邦去学习

Scalable Federated Unlearning via Isolated and Coded Sharding

Yijing Lin, Zhipeng Gao, Hongyang Du, Dusit Niyato, Gui Gui...

TL;DR提出了一种基于分散隔离和编码计算的可扩展联邦遗忘框架，通过将分布式客户端分为多个隔离片段以减少受影响的客户端数量，并通过压缩不同片段之间的模型参数来减少中央服务器的存储开销，最后，在两个典型的学习任务上进行了广泛实验，表明我们的框架在准确性、重训练时间、存储开销和抵抗成员攻击的 F1 分数方面都优于三种最先进的框架。

Abstract

federated unlearning has emerged as a promising paradigm to erase the client-level data effect without affecting the performance of collaborative learning models. However, the federated unlearning process often i

federated unlearning scalable federated unlearning framework isolated sharding coded computing membership inference attacks

发现论文，激发创造

基于区块链的可信任联合遗忘

提出了一种基于区块链的可信联邦取消学习框架，通过验证数据删除和消除其他客户端模型中存储的数据贡献，实现更好的数据删除效果，从而解决了现有工作中需要中央服务器保留分布式客户端的历史模型参数的问题。

Jan, 2024

主动遗忘的联邦取消学习

基于增量学习、主动遗忘和弹性权重约束的新型联邦遗忘框架，有效解决联邦学习中的遗忘问题。

Jul, 2023

编码的机器遗忘

本文提出了一种编码学习协议，其利用线性编码器将训练数据编码成碎片，以便进行学习和 “完美取消学习”（unlearning），实验结果表明，相比未编码的基线，该编码机器学习方法提供了更好的性能与取消学习成本的平衡。

Dec, 2020

编码联邦学习

本研究提出了一种编码联邦学习方法，解决了异构计算平台上 (如无线边缘) 的迟滞计算和通信以及时模型更新的问题，并通过预计算冗余渐变来加速全局模型收敛达四倍以上。

Feb, 2020

基于模型解释的联邦机器遗忘的选择性参数更新

提出了一种基于模型解释的更有效和高效的联邦遗忘方案，通过理解深层网络和个别通道重要性，选择已训练模型中对需要遗忘的数据至关重要的通道，并对这些通道进行微调，以消除这些数据的贡献。实验结果表明该方法的有效性。

Jun, 2024

通信高效且可证明的联邦反学习

研究联邦去学习问题，解决个别客户或数据对通过联邦学习得到的全局模型的影响，推导出所删除数据的无合差异性模型。引入了一种新的完全联邦去学习框架，满足通信效率和完全去学习可证明性的两个基本条件。通过定义确切的联邦去学习，保证无学习之后的模型与未删除数据时训练的模型在统计上无差异。利用模型参数对数据集轻微变化的变动程度来实现快速联邦去学习的关键特性：总变差稳定性。利用这一洞见，我们开发了一种名为 FATS 的总变差稳定的联邦学习算法，修改了经典的 FedAvg 算法以实现轮次通信的降低。我们还设计了针对 FATS 的高效去学习算法，包括客户级和样本级的去学习。我们提供了学习和去学习算法的理论保证，证明它们在原始模型和去学习模型上都达到了确切的联邦去学习，并具有合理的收敛速度。在 6 个基准数据集上经过实证验证，展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。

Jan, 2024

SoK：联邦反学习的挑战与机遇

这篇论文从事一项关于联邦消除学习（federated unlearning）的研究，通过对已发表的联邦学习消除（FL unlearning）相关论文的分类和分析，探讨了联邦学习消除领域的研究趋势和挑战，比较了现有联邦学习消除方法的影响消除和性能恢复能力，以及他们的假设和局限性。该研究为未来联邦学习消除的研究提供了洞见和建议。

Mar, 2024

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

联邦取消学习：方法、设计指导和评估指标综述

本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

Jan, 2024

驱动群体智能的联邦学习大语言模型：调查报告

调查了联邦学习大型语言模型的最新进展，重点关注了机器遗忘这一关键方面，以符合数据隐私和被遗忘权等隐私法规；通过探索各种策略，如扰动技术、模型分解和增量学习等，而无需从头重新训练，实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献，强调它们对于维持模型性能和数据隐私的意义；此外，通过案例研究和实验结果，评估这些方法在实际场景中的有效性和效率；调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注，也为未来研究提供了重要领域。

Jun, 2024