SoK:联邦反学习的挑战与机遇
本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南,提出了一种新的分类法对最先进的取消学习算法进行详细分析,并确定了该领域最有前景的研究方向和尚未解决的技术挑战。
Jan, 2024
随着可信任的联邦学习(FL)的发展,实施被遗忘权引起了联邦遗忘(FU)领域,与机器遗忘相比,FU 的主要挑战在于 FL 的分散化和保护隐私的特性,其中客户端共同训练全局模型而不共享原始数据,使得有选择地遗忘特定信息变得更加复杂。针对此问题,我们对 FU 进行了全面的调查,提供了现有的算法、目标、评价指标,并确定了一些 FU 的挑战。通过回顾和比较一些研究,我们将它们总结为各种方案、潜在应用和未来方向的分类。
Oct, 2023
调查了联邦学习大型语言模型的最新进展,重点关注了机器遗忘这一关键方面,以符合数据隐私和被遗忘权等隐私法规;通过探索各种策略,如扰动技术、模型分解和增量学习等,而无需从头重新训练,实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献,强调它们对于维持模型性能和数据隐私的意义;此外,通过案例研究和实验结果,评估这些方法在实际场景中的有效性和效率;调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注,也为未来研究提供了重要领域。
Jun, 2024
在联邦学习中,提出了一种新颖的联邦遗忘方法,通过从模型中减去历史累积更新来消除客户端的贡献,并利用知识蒸馏方法恢复模型的性能,而不使用来自客户端的任何数据。该方法不依赖于客户端的参与,不对神经网络的类型有任何限制,并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。
Jan, 2022
我们的研究第一次全面系统地研究了多领域上下文中现有技术在联邦领域消除中的特征和挑战,揭示了忽视领域特定数据对模型行为的细微影响所造成的性能下降和准确性损失。为此,我们提出了专为联邦领域消除量身定制的新型评估方法,旨在在不损害模型整体完整性和性能的情况下准确评估和验证领域特定数据的消除,为联邦学习中的领域中心化消除策略提供了切实可行的先例。
Jun, 2024
提出了一种基于模型解释的更有效和高效的联邦遗忘方案,通过理解深层网络和个别通道重要性,选择已训练模型中对需要遗忘的数据至关重要的通道,并对这些通道进行微调,以消除这些数据的贡献。实验结果表明该方法的有效性。
Jun, 2024
近年来,联邦学习作为一种分布式机器学习范式备受关注。为了促进被遗忘权的实施,联邦机器遗忘(FMU)的概念也应运而生。然而,目前的 FMU 方法往往涉及额外的耗时步骤,并且可能无法提供全面的遗忘能力,这使得它们在真实的联邦学习场景中不太实用。在本文中,我们介绍了 FedAU,这是一个创新而高效的 FMU 框架,旨在克服这些限制。具体而言,FedAU 将一个轻量级辅助遗忘模块集成到学习过程中,并采用直观的线性操作来促进遗忘。这种方法消除了额外的耗时步骤的需求,使其非常适合联邦学习。此外,FedAU 表现出了卓越的多功能性。它不仅可以使多个客户端同时执行遗忘任务,还支持以不同粒度进行遗忘,包括个体数据样本、特定类别,甚至在客户端级别进行遗忘。我们在 MNIST、CIFAR10 和 CIFAR100 数据集上进行了大量实验,评估了 FedAU 的性能。结果表明,FedAU 在保持模型准确性的同时有效地实现了所需的遗忘效果。
May, 2024
研究联邦去学习问题,解决个别客户或数据对通过联邦学习得到的全局模型的影响,推导出所删除数据的无合差异性模型。引入了一种新的完全联邦去学习框架,满足通信效率和完全去学习可证明性的两个基本条件。通过定义确切的联邦去学习,保证无学习之后的模型与未删除数据时训练的模型在统计上无差异。利用模型参数对数据集轻微变化的变动程度来实现快速联邦去学习的关键特性:总变差稳定性。利用这一洞见,我们开发了一种名为 FATS 的总变差稳定的联邦学习算法,修改了经典的 FedAvg 算法以实现轮次通信的降低。我们还设计了针对 FATS 的高效去学习算法,包括客户级和样本级的去学习。我们提供了学习和去学习算法的理论保证,证明它们在原始模型和去学习模型上都达到了确切的联邦去学习,并具有合理的收敛速度。在 6 个基准数据集上经过实证验证,展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。
Jan, 2024
本研究旨在研究联邦学习(FL)系统中的机器非重学习问题,提出了一种快速数据淘汰方法以保护数据隐私,并在四项真实数据集上进行了测试和分析。
Mar, 2022