贝叶斯去学习的挑战与陷阱

ICMLJul, 2022

Challenges and Pitfalls of Bayesian Unlearning

Ambrish Rawat, James Requeima, Wessel Bruinsma, Richard Turner

TL;DR本文讨论了机器遗忘、贝叶斯遗忘、拉普拉斯近似和变分推断在神经网络回归任务中的应用及相关启示。

Abstract

machine unlearning refers to the task of removing a subset of training data, thereby removing its contributions to a trained model. Approximate unlearning are one class of methods for this task which avoid the need to retrain the model from scratch on the retained data. Bayes' rule can

machine unlearning bayesian unlearning laplace approximation variational inference neural network

发现论文，激发创造

变分贝叶斯去除学习

本研究使用变分推断（VI）框架，提出两种新方法解决从少量数据集中删除数据来约略取消贝叶斯模型的后验置信度的问题，并在合成和现实世界的数据集上用对数回归和稀疏高斯过程等贝叶斯模型进行了实证研究。

Oct, 2020

部分失效的遗忘：基于贝叶斯视角的深度网络类遗忘

这篇研究论文提出了一种名为部分盲目遗忘（PBU）的新方法，通过从预训练的分类网络中有选择地删除与特定数据类别相关的信息，实现对特定数据类别的有意去除，以降低模型对该类别数据的性能影响，且无需了解整个训练数据集，仅需了解未遗忘数据点。

Mar, 2024

展开随机梯度下降：理解影响机器遗忘的因素

本文研究如何通过减少 verification error 和限制权重变化来实现近似机器遗忘，特别是在深度学习模型训练中使用随机梯度下降算法（SGD），以此来提高模型的整体性能。

Sep, 2021

机器取消学习：解决方案与挑战

机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

Aug, 2023

上下文学习中的不可学习算法

机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。

Feb, 2024

遗忘而不被遗忘：机器遗忘的改进基准

机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

May, 2024

基于采样贝叶斯推理中的知识去除

研究讨论在人工智能领域中实施遗忘权利将会引起难以承受的成本问题，该论文提出了用于 Markov chain Monte Carlo （简称 MCMC）的机器遗忘算法，第一次将 MCMC 反向推导为明确的最优化问题，通过 MCMC 引导函数确定遗忘的知识来达到遗忘的目的，并证明该算法不会损害 MCMC 模型的泛化能力。

Mar, 2022

数据集精炼驱动的机器遗忘

改进机器遗忘，提出图像分类的数据集精简技术和创新性遗忘方案，平衡隐私保护、实用性和效率，并运用于抵御成员推理和模型逆推攻击，并去除精简模型中的数据以快速训练任何模型。

Jan, 2024

近似机器遗忘是否得到适当评估？从审计到副作用

通过引入明确定义和有效的度量标准来解决黑箱取消学习审核任务的挑战，该论文分析了当前近似机器取消学习算法的实用性、韧性和公平性，并旨在将数据遗忘的理论权利转化为可审计的现实。

Mar, 2024

忘记你想忘记的：机器遗忘算法

本文研究了在已训练好的模型中删除数据点的相关问题，特别是在凸损失的情况下提供了一个算法来取消学习的样本数，与差分隐私学习相比，演示了差分隐私和机器遗忘之间的新颖区别。

Mar, 2021