稀疏表示的遗忘

Nov, 2023

Unlearning via Sparse Representations

Vedant Shah, Frederik Träuble, Ashish Malik, Hugo Larochelle, Michael Mozer...

TL;DR基于离散表示瓶颈的几乎无计算成本的零样本遗忘技术能有效遗忘忘记集，对数据集余下的部分几乎没有性能损失，并在 CIFAR-10、CIFAR-100 和 LACUNA-100 的三个数据集上进行了评估，与知识蒸馏用于遗忘的先进方法 SCRUB 相比，这种技术表现出与 SCRUB 几乎无计算成本相当甚至更好的性能。

Abstract

Machine \emph{unlearning}, which involves erasing knowledge about a \emph{forget set} from a trained model, can prove to be costly and infeasible by existing techniques. We propose a nearly compute-free zero-shot unlear

machine unlearning forget set zero-shot unlearning discrete representational bottleneck class unlearning

发现论文，激发创造

深度消除学习：快速高效的无训练遗忘控制方法

我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

Dec, 2023

通过李普希茨正则化实现规模化的零样本机器遗忘

在 AI 和数据法规的合规要求下，从训练的机器学习模型中忘记私人或受版权保护的信息变得越来越重要。在本研究中，我们解决了零样本遗忘的挑战，即一个遗忘算法必须能够在只有训练好的模型和需要被遗忘的数据的情况下移除数据。基于 Lipschitz 连续性的概念，我们提出了一种方法来引导遗忘样本输出的平滑化，以应对该样本的扰动。我们展示了这种平滑化成功地实现了遗忘同时保持模型性能的目标。我们在多个现代基准测试中对我们的方法进行了广泛的经验评估，验证了我们的方法在严格的零样本遗忘约束下达到了最先进的性能。

Feb, 2024

如何应对忘却困难问题

机器遗忘是从训练模型中删除某个子集（即 “遗忘集”）的效果，而不损害模型的效用，例如遵守用户要求删除他们的数据，或删除错误标记、被污染或其他有问题的数据。本文通过调查两个影响遗忘难度和算法性能的关键因素，发现基于这些因素的遗忘集评估揭示了先进算法的新行为，从而改善了顶级的遗忘算法。

Jun, 2024

零样本机器遗忘

本論文提出了一個名為 Zero-shot 機器學習的新問題，探討如何從 MOD 交易所中刪除特定集合或類別的數據，介紹一種基於誤差最小化最大化噪音和門控知識傳遞的解決方案，實驗結果在基準視覺數據集上展示了良好的效果。

Jan, 2022

机器图书馆：真的只需要保留一套信息吗？利用非分布图像恢复未学习模型的性能

本文介绍了 Selective-distillation for Class and Architecture-agnostic unleaRning (SCAR)，这是一种新的近似遗忘方法。SCAR 可以高效地消除特定信息，同时保持模型的测试准确性，而无需使用保留集合。我们的方法利用改进的马氏距离引导要遗忘的实例的特征向量的遗忘，使其与最近的错误类别分布对齐。此外，我们提出了一种蒸馏机制，用于将原始模型的知识蒸馏到遗忘模型中，使用超出分布的图像以保持原始模型的测试性能，而不使用任何保留集合。重要的是，我们提出了 SCAR 的自遗忘版本，它可以在没有访问遗忘集的情况下进行遗忘。我们在三个公共数据集上进行了实验证实了我们方法的有效性，并与最先进的方法进行了比较。我们的方法在不使用保留集合的情况下获得了比其他方法更高的性能，并且与依赖保留集合的最佳方法相当。

Apr, 2024

边界遗忘

本研究通过边界移动的方法，提出了一种高效的、可以快速忘记训练数据的机器遗忘技术 ——Boundary Unlearning，成功应用于图像分类和人脸识别等任务，并取得了预期的速度提升。

Mar, 2023

上下文学习中的不可学习算法

机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。

Feb, 2024

图像到图像生成模型的机器反学习

提出了机器遗忘在图像生成模型中的普适框架，通过计算高效的算法，能够在保留样本上几乎不影响性能，同时有效地从遗忘样本中删除信息，而且不依赖保留样本的可用性，符合数据保留政策。

Feb, 2024

通过选择性突触减衰实现快速机器反学习而无需重新训练

机器遗忘能力对于遵守数据隐私法规以及删除有害、被操控或过时信息变得越来越重要。本研究提出了一种名为选择性突触阻尼（SSD）的新型机器遗忘方法，该方法以快速、高性能的方式进行遗忘，且不需要长期存储训练数据。该方法在一系列实验中与现有的遗忘方法进行了对比，结果显示 SSD 的性能与基于重新训练的后续处理方法相当，证明了重新训练后续遗忘方法的可行性。

Aug, 2023

模型稀疏化可简化机器遗忘

该研究介绍了一种通过模型稀疏化实现机器遗忘的方法，通过剪枝模型的权重来提高近似遗忘的性能，开发了两种新的稀疏感知的遗忘元方案，“先剪枝再遗忘” 和 “稀疏感知遗忘”，在不同的情景下取得了一致的遗忘效果提高。

Apr, 2023