基于零空间校准的机器去学习
我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。
Dec, 2023
该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法，提出了一个性能感知算法来权衡遗忘完整性和性能衰减，并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题，通过模拟验证了遗忘算法在负载预测器上的性能。
Aug, 2023
机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。
Aug, 2023
机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。
Feb, 2024
提出了机器遗忘在图像生成模型中的普适框架，通过计算高效的算法，能够在保留样本上几乎不影响性能，同时有效地从遗忘样本中删除信息，而且不依赖保留样本的可用性，符合数据保留政策。
Feb, 2024
机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。
May, 2024
我们提出了一种对比遗忘框架，利用表示学习的概念，从而更有效地消除一部分训练样本（即遗忘样本）对经过训练的模型产生的影响。通过将遗忘样本的嵌入与其余样本进行对比，使其远离原始类别并被拉向其他类别，通过直接优化表示空间，有效地消除了遗忘样本的影响，同时保持了从其余样本学习到的表示。在各种数据集和模型上进行的实验证明，与最先进的算法相比，对比遗忘实现了最佳的遗忘效果和效率，同时性能损失最小。
Jan, 2024
机器去学习是一个新兴领域，通过对现代人工智能模型的隐私保护需求的迫切性推动。这项技术主要旨在从神经模型的训练中消除特定数据子集的任何残留影响。该研究介绍了一种新颖的去学习算法，称为基于距离的质心运动的去学习（DUCK），它采用度量学习来引导嵌入空间中与最近的错误质心相匹配的样本的移除。通过在两个不同的场景下对多个基准数据集进行算法性能评估，包括类别移除和同质采样移除，获得了最先进的性能。我们引入了一种称为自适应去学习分数（AUS）的新指标，不仅涵盖了对目标数据遗忘的去学习过程的功效，还量化了相对于原始模型的性能损失。此外，我们提出了一种新颖的成员推理攻击方法，以评估该算法清除先前获取的知识的能力，并设计成适应未来的方法论。
Dec, 2023
机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。
May, 2024