分布式知识图谱通过扩散模型实现遗忘
本文提出了一种新的 FL 框架 ——FedLU,用于异构的 KG 嵌入学习和遗忘,利用相互的知识蒸馏来处理数据异质性造成的局部优化与全局收敛之间的漂移,并提出一种基于认知神经科学的遗忘方法,结合了逆行干扰和被动衰减,通过重用知识蒸馏来从本地客户端中抹除特定的知识并传播到全局模型。实验结果表明 FedLU 在链接预测和知识遗忘方面都取得了优秀的结果。
Feb, 2023
在联邦学习中,提出了一种新颖的联邦遗忘方法,通过从模型中减去历史累积更新来消除客户端的贡献,并利用知识蒸馏方法恢复模型的性能,而不使用来自客户端的任何数据。该方法不依赖于客户端的参与,不对神经网络的类型有任何限制,并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。
Jan, 2022
本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南,提出了一种新的分类法对最先进的取消学习算法进行详细分析,并确定了该领域最有前景的研究方向和尚未解决的技术挑战。
Jan, 2024
调查了联邦学习大型语言模型的最新进展,重点关注了机器遗忘这一关键方面,以符合数据隐私和被遗忘权等隐私法规;通过探索各种策略,如扰动技术、模型分解和增量学习等,而无需从头重新训练,实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献,强调它们对于维持模型性能和数据隐私的意义;此外,通过案例研究和实验结果,评估这些方法在实际场景中的有效性和效率;调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注,也为未来研究提供了重要领域。
Jun, 2024
这篇论文从事一项关于联邦消除学习(federated unlearning)的研究,通过对已发表的联邦学习消除(FL unlearning)相关论文的分类和分析,探讨了联邦学习消除领域的研究趋势和挑战,比较了现有联邦学习消除方法的影响消除和性能恢复能力,以及他们的假设和局限性。该研究为未来联邦学习消除的研究提供了洞见和建议。
Mar, 2024
近年来,联邦学习作为一种分布式机器学习范式备受关注。为了促进被遗忘权的实施,联邦机器遗忘(FMU)的概念也应运而生。然而,目前的 FMU 方法往往涉及额外的耗时步骤,并且可能无法提供全面的遗忘能力,这使得它们在真实的联邦学习场景中不太实用。在本文中,我们介绍了 FedAU,这是一个创新而高效的 FMU 框架,旨在克服这些限制。具体而言,FedAU 将一个轻量级辅助遗忘模块集成到学习过程中,并采用直观的线性操作来促进遗忘。这种方法消除了额外的耗时步骤的需求,使其非常适合联邦学习。此外,FedAU 表现出了卓越的多功能性。它不仅可以使多个客户端同时执行遗忘任务,还支持以不同粒度进行遗忘,包括个体数据样本、特定类别,甚至在客户端级别进行遗忘。我们在 MNIST、CIFAR10 和 CIFAR100 数据集上进行了大量实验,评估了 FedAU 的性能。结果表明,FedAU 在保持模型准确性的同时有效地实现了所需的遗忘效果。
May, 2024
分散学习、联邦知识蒸馏和模型漂移是关键词,本文提出了一种有效的知识融合算法,通过分析本地模型的知识有效性来实现个性化知识融合,实验证明在拥有大规模和高度异构的本地数据集的情况下,本地训练可能优于基于知识融合的解决方案。
Mar, 2024
这篇文章是一篇关于联邦学习中知识编辑的综述性论文,其中介绍了一个被称为 Federated Editable Learning 的整合范式,并提供了现有方法的综合概述,评估了它们在提出的范式内的位置和它们面临的挑战,并探索未来研究的潜在途径和未解决问题。
Jun, 2023
我们的研究第一次全面系统地研究了多领域上下文中现有技术在联邦领域消除中的特征和挑战,揭示了忽视领域特定数据对模型行为的细微影响所造成的性能下降和准确性损失。为此,我们提出了专为联邦领域消除量身定制的新型评估方法,旨在在不损害模型整体完整性和性能的情况下准确评估和验证领域特定数据的消除,为联邦学习中的领域中心化消除策略提供了切实可行的先例。
Jun, 2024