Feb, 2024

联邦去学习：稳定性和公平性视角

PDF
TL;DR本文研究了数据异质性下联邦去学习（FU）的多方面影响。我们引入了 FU 评估的关键指标，集中在验证、全局稳定性和局部公平性，并研究其内在的权衡。此外，我们通过优化框架对数据异质性下的去学习过程进行了形式化。我们的主要贡献在于对 FU 中的权衡进行了全面的理论分析，并揭示了数据异质性对 FU 的影响。利用这些见解，我们提出了管理权衡的 FU 机制，为 FU 机制的进一步发展提供指导。我们经验证实，我们的 FU 机制能有效平衡权衡，证实我们从理论分析中得出的见解。
federated unlearningdata heterogeneitymetricstrade-offsfu mechanisms
发现论文，激发创造
  • 联邦取消学习：方法、设计指导和评估指标综述

    本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

    Jan, 2024

  • 联邦反学习综述：分类、挑战与未来方向

    随着可信任的联邦学习（FL）的发展，实施被遗忘权引起了联邦遗忘（FU）领域，与机器遗忘相比，FU 的主要挑战在于 FL 的分散化和保护隐私的特性，其中客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息变得更加复杂。针对此问题，我们对 FU 进行了全面的调查，提供了现有的算法、目标、评价指标，并确定了一些 FU 的挑战。通过回顾和比较一些研究，我们将它们总结为各种方案、潜在应用和未来方向的分类。

    Oct, 2023

  • SoK：联邦反学习的挑战与机遇

    这篇论文从事一项关于联邦消除学习（federated unlearning）的研究，通过对已发表的联邦学习消除（FL unlearning）相关论文的分类和分析，探讨了联邦学习消除领域的研究趋势和挑战，比较了现有联邦学习消除方法的影响消除和性能恢复能力，以及他们的假设和局限性。该研究为未来联邦学习消除的研究提供了洞见和建议。

    Mar, 2024

  • 通信高效且可证明的联邦反学习

    研究联邦去学习问题，解决个别客户或数据对通过联邦学习得到的全局模型的影响，推导出所删除数据的无合差异性模型。引入了一种新的完全联邦去学习框架，满足通信效率和完全去学习可证明性的两个基本条件。通过定义确切的联邦去学习，保证无学习之后的模型与未删除数据时训练的模型在统计上无差异。利用模型参数对数据集轻微变化的变动程度来实现快速联邦去学习的关键特性：总变差稳定性。利用这一洞见，我们开发了一种名为 FATS 的总变差稳定的联邦学习算法，修改了经典的 FedAvg 算法以实现轮次通信的降低。我们还设计了针对 FATS 的高效去学习算法，包括客户级和样本级的去学习。我们提供了学习和去学习算法的理论保证，证明它们在原始模型和去学习模型上都达到了确切的联邦去学习，并具有合理的收敛速度。在 6 个基准数据集上经过实证验证，展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。

    Jan, 2024

  • 基于区块链的可信任联合遗忘

    提出了一种基于区块链的可信联邦取消学习框架，通过验证数据删除和消除其他客户端模型中存储的数据贡献，实现更好的数据删除效果，从而解决了现有工作中需要中央服务器保留分布式客户端的历史模型参数的问题。

    Jan, 2024

  • 主动遗忘的联邦取消学习

    基于增量学习、主动遗忘和弹性权重约束的新型联邦遗忘框架，有效解决联邦学习中的遗忘问题。

    Jul, 2023

  • 学习中的遗忘：高效的联邦机器遗忘方法

    近年来，联邦学习作为一种分布式机器学习范式备受关注。为了促进被遗忘权的实施，联邦机器遗忘（FMU）的概念也应运而生。然而，目前的 FMU 方法往往涉及额外的耗时步骤，并且可能无法提供全面的遗忘能力，这使得它们在真实的联邦学习场景中不太实用。在本文中，我们介绍了 FedAU，这是一个创新而高效的 FMU 框架，旨在克服这些限制。具体而言，FedAU 将一个轻量级辅助遗忘模块集成到学习过程中，并采用直观的线性操作来促进遗忘。这种方法消除了额外的耗时步骤的需求，使其非常适合联邦学习。此外，FedAU 表现出了卓越的多功能性。它不仅可以使多个客户端同时执行遗忘任务，还支持以不同粒度进行遗忘，包括个体数据样本、特定类别，甚至在客户端级别进行遗忘。我们在 MNIST、CIFAR10 和 CIFAR100 数据集上进行了大量实验，评估了 FedAU 的性能。结果表明，FedAU 在保持模型准确性的同时有效地实现了所需的遗忘效果。

    May, 2024

  • 面向联邦域去学习的验证方法和挑战

    我们的研究第一次全面系统地研究了多领域上下文中现有技术在联邦领域消除中的特征和挑战，揭示了忽视领域特定数据对模型行为的细微影响所造成的性能下降和准确性损失。为此，我们提出了专为联邦领域消除量身定制的新型评估方法，旨在在不损害模型整体完整性和性能的情况下准确评估和验证领域特定数据的消除，为联邦学习中的领域中心化消除策略提供了切实可行的先例。

    Jun, 2024

  • 联邦学习中的隐私和公平：从权衡的角度出发

    本文对联邦学习中的隐私和公平问题进行了文献综述，重点阐述了联邦环境下面临的独特挑战和解决方案，系统梳理了隐私和公平之间的不同交互作用，并提出了公平和隐私联邦学习的新研究方向。

    Jun, 2023

  • 联邦学习中的安全、隐私和公平的链接：新的平衡和新的视角

    联邦学习中隐私、安全和公平的问题及其相互关系，以及其中的权衡。

    Jun, 2024