提出了一种高效的取消学习框架，通过引入轻量级的取消学习层并与 transformers 结合，可以在不对整个模型重新训练的情况下有效地更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明，与现有技术相比，我们提出的方法在分类和生成任务上的有效性得到了验证。

Oct, 2023

通过借助先前和后续模型访问，我们提出了文本消除泄漏攻击（TULA），从而证明机器遗忘在语言模型中会扩大知识泄漏的风险，包括黑盒和白盒场景下推断未学习数据的能力增强，以及通过白盒访问直接重构未学习数据的准确性。这项工作首次揭示了语言模型中的机器遗忘逆向创造了更大的知识风险，并鼓励更安全的遗忘机制的发展。

Jun, 2024

通过新的度量衡、对抗攻击以及基于梯度上升和任务算术的两种新的遗忘方法，本研究提供了关于 LLMs 隐私保护和遗忘的新视角，并在大量 NLP 任务上进行了全面的性能评估。

May, 2024

机器遗忘是人工智能中的一个新领域，专注于解决在机器学习模型中有选择地遗忘或减少不良知识或行为的挑战，特别是在大型语言模型（LLM）的背景下。本文介绍了一种使用梯度上升算法对 LLM 进行对齐的方法，以便符合伦理、隐私和安全标准，并目标性地删除或修改 LLM 中的学习信息，以解决有害回应和版权问题。

May, 2024

本研究提出知识遗忘（knowledge unlearning）作为一种减少预训练语言模型（pretrained language models）隐私风险的方法，通过对目标标记序列进行梯度上升来遗忘它们，并发现顺序遗忘优于尝试一次性遗忘所有数据，对于特定领域的数据，知识遗忘具有更强的实证隐私保证，同时更加高效和鲁棒。

Oct, 2022

在本研究中，我们提出了第一个可以证明并高效地消除数据实例并保持公平性的机器遗忘方法。通过理论结果和对真实世界数据集的广泛实验，我们展示了我们的方法在消除数据实例的同时保持公平性的功效。

Jul, 2023

通过 Fine-tuning 模型引入伪实体从而在 Entity-level unlearning 任务中评估当前的 unlearning 算法是否能达到有效的结果，并发现伪实体注入比预训练的实体更容易被删除，强调了需要更系统的伪实体注入方法以接近预训练的知识。

Jun, 2024

机器遗忘作为一项新兴的数据管理研究课题，旨在调整经过训练的模型以逼近一个排除了训练数据一部分的重新训练模型。我们提出了一般性的框架，即 TARget-aware Forgetting（TARF），通过对遗忘数据进行退火梯度上升和对难以影响的剩余数据进行选择性梯度下降，使得额外任务能够主动遗忘目标概念而保留其余部分。通过在新引入的设置下进行各种实验，我们证明了 TARF 的有效性。

Jun, 2024

随着可信任的联邦学习（FL）的发展，实施被遗忘权引起了联邦遗忘（FU）领域，与机器遗忘相比，FU 的主要挑战在于 FL 的分散化和保护隐私的特性，其中客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息变得更加复杂。针对此问题，我们对 FU 进行了全面的调查，提供了现有的算法、目标、评价指标，并确定了一些 FU 的挑战。通过回顾和比较一些研究，我们将它们总结为各种方案、潜在应用和未来方向的分类。

Oct, 2023

本文旨在研究 “被遗忘权” 对机器学习中的数据删除的影响，提出机器去学习算法用以更有效地从训练模型中删除特定数据，但该方法会从公平性的角度妥协 AI 伦理，因此我们在三个不同的删除策略下进行了实验，并发现 SISA 方法比 ORTR 和 AmnesiacML 方法更加公平，为解决软件工程的重要研究问题提供了帮助。

Feb, 2023