基于马尔可夫链蒙特卡罗的机器遗忘：遗忘需要被遗忘的内容

MMFeb, 2022

基于马尔可夫链蒙特卡罗的机器遗忘：遗忘需要被遗忘的内容

Markov Chain Monte Carlo-Based Machine Unlearning: Unlearning What Needs to be Forgotten

Quoc Phong Nguyen, Ryutaro Oikawa, Dinil Mon Divakaran, Mun Choon Chan, Bryan Kian Hsiang Low

TL;DR本文提出了一种基于 MCU 算法的机器学习模型快速且高效地去除数据子集的方案，并利用 MCU 鉴别和标志对模型预测产生影响的对抗或隐私数据。实验表明，MCU 可以从训练数据集的子集中有效地去除模型的影响，并优于现有的算法。

Abstract

As the use of machine learning (ML) models is becoming increasingly popular in many real-world applications, there are practical challenges that need to be addressed for model maintenance. One such challenge is t

machine learning model maintenance subset removal markov chain monte carlo adversarial data

发现论文，激发创造

基于采样贝叶斯推理中的知识去除

研究讨论在人工智能领域中实施遗忘权利将会引起难以承受的成本问题，该论文提出了用于 Markov chain Monte Carlo （简称 MCMC）的机器遗忘算法，第一次将 MCMC 反向推导为明确的最优化问题，通过 MCMC 引导函数确定遗忘的知识来达到遗忘的目的，并证明该算法不会损害 MCMC 模型的泛化能力。

Mar, 2022

机器反学习的因果推断

该研究将机器遗忘技术应用于因果推断，提出了一种基于神经网络的倾向分数模型的机器遗忘方法，通过选择性地删除实例和匹配的实例对，评估重新训练的模型并消除不需要的关联，实验结果表明机器遗忘方法的有效性，并通过倾向分数的分布和直方图分析展示无关联数据对数据的影响。

Aug, 2023

用记忆法码实现单次机器遗忘

本文提出了一种称为 one-shot MU 的方法，该方法通过向受不良训练数据敏感的模型参数添加噪声来实现目标，利用 Fisher 信息矩阵评估敏感模型参数，而无需使用训练数据来计算该矩阵，进而用类特定的合成信号，即基于助记符代码来避免需要保留训练数据。通过人工和自然数据集的广泛实验，证明了该方法优于现有方法。

Jun, 2023

对抗式机器遗忘

该论文提出了一个游戏理论框架，将成员推理攻击（MIAs）与机器遗忘算法的设计整合在一起，从而以对抗性的方式主动地将攻击纳入算法设计中，利用隐式微分限制攻击者的成功，以实现从模型中遗忘特定的训练数据。

Jun, 2024

挑战遗忘：揭示机器非遗忘最差情况集合

机器遗忘 (MU) 是一个重要问题，旨在消除特定数据对模型性能的影响，同时保持模型的实用性。通过从对抗角度进行最坏情况遗忘子集的识别，我们提出了一种新的 MU 评估方法，通过双层优化原则在上层优化级别放大遗忘挑战，在下层进行标准训练和遗忘，实现数据影响擦除和模型实用性之间的平衡。我们的研究揭示了 MU 在实践中的复杂挑战，指导未来更准确、更鲁棒的遗忘算法的发展。

Mar, 2024

通过可控机器遗忘解决隐私、效用、效率的三难题

Controllable Machine Unlearning (ConMU) 是一个新颖的框架，通过三个关键模块实现了 Machine Unlearning 的可控性，平衡了隐私、模型准确性和运行效率之间的权衡。在多个基准数据集上的综合实验展示了我们的控制机制的稳健适应性，并证明了其优于现有未学习方法的优势。

Oct, 2023

机器取消学习：解决方案与挑战

机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

Aug, 2023

朝向自然机器遗忘

机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。

May, 2024

机器遗忘综述

本文旨在对机器学习模型中 “遗忘特定数据” 的概念、场景、方法和应用进行综合性探讨，并为研究人员和从业人员提供包括设计标准和算法在内的全面资源，以帮助创新隐私技术和提醒相关研究领域存在的问题。

Sep, 2022

机器遗忘的研究与分类调查

该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

May, 2023