Machine Unlearning（机器遗忘）是从已经训练好的模型中删除特定的训练数据样本及其相应的影响，其具有重要的实际价值。本文提出了 MMUL，一种专门设计用于多模态数据和模型的机器遗忘方法，通过关注三个关键性质来制定多模态遗忘任务：（a）解耦模态，（b）保留单模态知识，（c）保留多模态知识。实验证明，MMUL 在区分已删除和剩余数据方面优于现有的基线方法，并且在遗忘后能够大部分保持原始模型的预先存在的知识。

Nov, 2023

该研究旨在调查机器遗忘（MU），这是一个新兴领域，专注于解决神经模型意外保留个人或敏感数据的问题。本文介绍了一种新的方法，以实现语言模型内的精确选择性遗忘，并提出了两个创新的评估指标：敏感信息提取可能性（S-EL）和敏感信息记忆准确性（S-MA），用于衡量消除敏感信息的有效性。为了加强遗忘框架，提出了一种有效的敏感区域注释方法，包括在线和离线策略。在线选择机制利用语言概率得分确保计算效率，而离线注释则采用基于大型语言模型（LLMs）的强大两阶段过程。

Feb, 2024

在这篇论文中，我们提出了一种稳定的序列遗忘（SSU）框架，该框架使用任务向量，通过引入额外的随机标签损失和应用基于梯度的权重显著性映射，以更稳定的方式在不同的时间步骤中从 LLMs 中删除受版权保护的内容，实验证明 SSU 在遗忘效果和保持模型的一般知识之间取得了良好的平衡。

Jun, 2024

探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作为开发生成式 AI 的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了 LLM 遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。

Feb, 2024

本文提出了一种称为 one-shot MU 的方法，该方法通过向受不良训练数据敏感的模型参数添加噪声来实现目标，利用 Fisher 信息矩阵评估敏感模型参数，而无需使用训练数据来计算该矩阵，进而用类特定的合成信号，即基于助记符代码来避免需要保留训练数据。通过人工和自然数据集的广泛实验，证明了该方法优于现有方法。

Jun, 2023

机器反学习（MU）通过从训练模型中删除有关 “遗忘数据” 样本的信息来解决隐私问题。我们质疑使用现有的评估方法是否有效，并提出了一种量化中间特征中关于遗忘数据样本的剩余信息的度量指标，称为信息差异指数（IDI），以更好地评估 MU 方法。IDI 通过高效地分析 DNNs 的内部结构来提供综合评估。

May, 2024

机器遗忘（MU）是遗忘一个经过训练的模型中的数据，这是非常重要的，因为要保护 “被遗忘权”。本文从训练数据和未知数据对模型的贡献之间的基本区别出发，理论上发现输入灵敏度可以近似度量贡献，并实际设计了一个名为 MU-Mis（通过最小化输入灵敏度进行机器遗忘）的算法，以抑制遗忘数据的贡献。实验结果表明，MU-Mis 在很大程度上优于最先进的 MU 方法。此外，MU-Mis 与 MU 的应用更加密切，因为它不需要使用剩余数据。

Feb, 2024

机器遗忘 (MU) 是一个重要问题，旨在消除特定数据对模型性能的影响，同时保持模型的实用性。通过从对抗角度进行最坏情况遗忘子集的识别，我们提出了一种新的 MU 评估方法，通过双层优化原则在上层优化级别放大遗忘挑战，在下层进行标准训练和遗忘，实现数据影响擦除和模型实用性之间的平衡。我们的研究揭示了 MU 在实践中的复杂挑战，指导未来更准确、更鲁棒的遗忘算法的发展。

Mar, 2024

提出了一种高效的取消学习框架，通过引入轻量级的取消学习层并与 transformers 结合，可以在不对整个模型重新训练的情况下有效地更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明，与现有技术相比，我们提出的方法在分类和生成任务上的有效性得到了验证。

Oct, 2023

通过引入 ' 权重显著性 ' 的概念，我们提出了一种称为显著性遗忘（SalUn）的方法，它能够有效地在图像分类和生成中消除忘记数据、类别或概念的影响，并在稳定性和准确性方面超越当前最先进的基准方法。

Oct, 2023