本文讨论了机器遗忘、贝叶斯遗忘、拉普拉斯近似和变分推断在神经网络回归任务中的应用及相关启示。
Jul, 2022
这篇研究论文提出了一种名为部分盲目遗忘（PBU）的新方法，通过从预训练的分类网络中有选择地删除与特定数据类别相关的信息，实现对特定数据类别的有意去除，以降低模型对该类别数据的性能影响，且无需了解整个训练数据集，仅需了解未遗忘数据点。
Mar, 2024
研究讨论在人工智能领域中实施遗忘权利将会引起难以承受的成本问题，该论文提出了用于 Markov chain Monte Carlo （简称 MCMC）的机器遗忘算法，第一次将 MCMC 反向推导为明确的最优化问题，通过 MCMC 引导函数确定遗忘的知识来达到遗忘的目的，并证明该算法不会损害 MCMC 模型的泛化能力。
Mar, 2022
深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。
Jan, 2024
本文研究如何通过减少 verification error 和限制权重变化来实现近似机器遗忘，特别是在深度学习模型训练中使用随机梯度下降算法（SGD），以此来提高模型的整体性能。
Sep, 2021
将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响，以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降（SGD）的随机梯度 Langevin 遗忘框架，为凸性假设下的近似遗忘问题提供了带有隐私保证的第一个遗忘方法。我们的研究结果表明，与全批次更新相比，小批次梯度更新提供了更好的隐私 - 复杂性权衡。我们的遗忘方法具有许多算法上的优势，包括与重新训练相比的复杂性节省，以及支持顺序和批次遗忘。为了研究我们方法的隐私 - 效用 - 复杂性权衡，我们在基准数据集上进行了实验，与之前的工作进行了比较。相比于小批次和全批次设置下基于梯度的近似遗忘方法，我们的方法在相同隐私限制条件下使用了 2% 和 10% 的梯度计算，同时达到了类似的效用。
本文研究了在已训练好的模型中删除数据点的相关问题，特别是在凸损失的情况下提供了一个算法来取消学习的样本数，与差分隐私学习相比，演示了差分隐私和机器遗忘之间的新颖区别。
Mar, 2021
机器遗忘的研究论文，讨论了训练模型对于 “删除容量” 的影响以及利用差分隐私算法实现机器遗忘的可行性，并提供了当中的上下界。
Sep, 2023
机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。
Feb, 2024
通过引入信息瓶颈的方法，我们提出了一个能有效消除系统模式和偏见的机器遗忘框架，在迁移学习中进行模型参数的动态调整，以便高效准确地移除过时或不需要的数据模式和偏见。
May, 2024