忘记你想忘记的：机器遗忘算法

Mar, 2021

Remember What You Want to Forget: Algorithms for Machine Unlearning

Ayush Sekhari, Jayadev Acharya, Gautam Kamath, Ananda Theertha Suresh

TL;DR本文研究了在已训练好的模型中删除数据点的相关问题，特别是在凸损失的情况下提供了一个算法来取消学习的样本数，与差分隐私学习相比，演示了差分隐私和机器遗忘之间的新颖区别。

Abstract

We study the problem of unlearning datapoints from a learnt model. The learner first receives a dataset $S$ drawn i.i.d. from an unknown distribu

unlearning learnt model unknown distribution convex losses differential privacy

发现论文，激发创造

从自适应查询发布到机器消除学习

机器遗忘问题中设计高效算法的形式化，包括线性和前缀和查询类的高效遗忘算法以及其在随机凸优化问题和广义线性模型中的应用，提供了不同情况下的遗忘风险和查询复杂度。

Jul, 2023

遗忘而不被遗忘：机器遗忘的改进基准

机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

May, 2024

随机梯度 Langevin 反学习

将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响，以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降（SGD）的随机梯度 Langevin 遗忘框架，为凸性假设下的近似遗忘问题提供了带有隐私保证的第一个遗忘方法。我们的研究结果表明，与全批次更新相比，小批次梯度更新提供了更好的隐私 - 复杂性权衡。我们的遗忘方法具有许多算法上的优势，包括与重新训练相比的复杂性节省，以及支持顺序和批次遗忘。为了研究我们方法的隐私 - 效用 - 复杂性权衡，我们在基准数据集上进行了实验，与之前的工作进行了比较。相比于小批次和全批次设置下基于梯度的近似遗忘方法，我们的方法在相同隐私限制条件下使用了 2% 和 10% 的梯度计算，同时达到了类似的效用。

Mar, 2024

通过差分隐私实现机器去学习的严格界限

机器遗忘的研究论文，讨论了训练模型对于 “删除容量” 的影响以及利用差分隐私算法实现机器遗忘的可行性，并提供了当中的上下界。

Sep, 2023

通过李普希茨正则化实现规模化的零样本机器遗忘

在 AI 和数据法规的合规要求下，从训练的机器学习模型中忘记私人或受版权保护的信息变得越来越重要。在本研究中，我们解决了零样本遗忘的挑战，即一个遗忘算法必须能够在只有训练好的模型和需要被遗忘的数据的情况下移除数据。基于 Lipschitz 连续性的概念，我们提出了一种方法来引导遗忘样本输出的平滑化，以应对该样本的扰动。我们展示了这种平滑化成功地实现了遗忘同时保持模型性能的目标。我们在多个现代基准测试中对我们的方法进行了广泛的经验评估，验证了我们的方法在严格的零样本遗忘约束下达到了最先进的性能。

Feb, 2024

学习如何忘却：机器遗忘调查

该调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题，并指出该领域未来的研究方向，旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。

May, 2023

图像到图像生成模型的机器反学习

提出了机器遗忘在图像生成模型中的普适框架，通过计算高效的算法，能够在保留样本上几乎不影响性能，同时有效地从遗忘样本中删除信息，而且不依赖保留样本的可用性，符合数据保留政策。

Feb, 2024

数据集精炼驱动的机器遗忘

改进机器遗忘，提出图像分类的数据集精简技术和创新性遗忘方案，平衡隐私保护、实用性和效率，并运用于抵御成员推理和模型逆推攻击，并去除精简模型中的数据以快速训练任何模型。

Jan, 2024

机器取消学习：解决方案与挑战

机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

Aug, 2023

任务感知的机器遗忘及其在负荷预测中的应用

该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法，提出了一个性能感知算法来权衡遗忘完整性和性能衰减，并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题，通过模拟验证了遗忘算法在负载预测器上的性能。

Aug, 2023