本研究提出知识遗忘（knowledge unlearning）作为一种减少预训练语言模型（pretrained language models）隐私风险的方法，通过对目标标记序列进行梯度上升来遗忘它们，并发现顺序遗忘优于尝试一次性遗忘所有数据，对于特定领域的数据，知识遗忘具有更强的实证隐私保证，同时更加高效和鲁棒。

Oct, 2022

利用大规模语言模型训练数据时，即使属敏感或私密的数据也是可以被记忆和复制的，引发了法律和伦理方面的担忧。为了保护个人数据，我们提出了TOFU（Task of Fictitious Unlearning）作为一个基准，以帮助深入理解遗忘的过程。通过提供一套综合指标，我们评估了现有遗忘算法的基准结果，并指出需要继续努力开发能够真正使模型忘却目标数据的遗忘方法。

Jan, 2024

探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为LLM遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为LLMs生命周期管理中的重要元素，潜在地作为开发生成式AI的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究LLMs遗忘领域。重点突出现有LLM遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在LLM遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了LLM遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。

Feb, 2024

通过对预训练大语言模型的机器遗忘进行综合研究，我们探讨了‘被遗忘权’的概念，重点关注了尚未充分研究的预训练模型领域。通过对来自arXiv、书籍和GitHub的精选数据集进行严格评估，我们建立了机器遗忘性能的鲁棒基准，并证明这些方法的计算效率比重新训练高出10^5倍。我们的研究结果表明，在分布数据上将梯度上升与梯度下降相结合可以提高超参数的稳健性。此外，我们还提供了高效超参数调整的详细指南。我们的发现推动了关于道德AI实践的讨论，为预训练大语言模型的机器遗忘机制提供了实质性的见解，并强调了负责任的AI发展的潜力。

Feb, 2024

大型语言模型开创了人工智能的进展，然而它们可能会危险地记忆和传播敏感、偏见或受版权保护的信息。机器遗忘作为一种尖端解决方案应运而生，针对大型语言模型提供了一种选择性丢弃某些数据的技术，以解决隐私、道德和法律方面的挑战，无需进行完整的模型重新训练。本文回顾了关于大型语言模型的机器遗忘的最新研究，介绍了针对文本数据和分类数据的遗忘方法，并展示了这些方法在删除特定数据的同时保持模型高效性的有效性。本文还强调了机器遗忘的实用性，指出了保持模型完整性、避免过度或不足的数据删除以及确保一致的输出等问题，突出了机器遗忘在推动负责任、道德的人工智能方面的作用。

Mar, 2024

通过提供深入探讨机器消遣技术的定义、分类和评价标准，以及不同环境下的挑战和解决方案，本文对传统模型和大型语言模型上的消遣进行分类和研究，提出了评估消遣效果和效率的方法以及性能测量标准。本文揭示了当前消遣技术的局限性，并强调了全面的消遣评估的重要性，以避免随意的遗忘。该调查不仅总结了消遣技术的关键概念，还指出了其突出问题和未来研究的可行方向，为该领域的学者提供了有价值的指导。

Apr, 2024

通过新的度量衡、对抗攻击以及基于梯度上升和任务算术的两种新的遗忘方法，本研究提供了关于LLMs隐私保护和遗忘的新视角，并在大量NLP任务上进行了全面的性能评估。

May, 2024

机器遗忘是人工智能中的一个新领域，专注于解决在机器学习模型中有选择地遗忘或减少不良知识或行为的挑战，特别是在大型语言模型（LLM）的背景下。本文介绍了一种使用梯度上升算法对LLM进行对齐的方法，以便符合伦理、隐私和安全标准，并目标性地删除或修改LLM中的学习信息，以解决有害回应和版权问题。

May, 2024

我们提出了一种名为“POP”的新型遗忘方法，通过对参数应用最佳梯度更新，从预训练的语言模型中有效地遗忘目标令牌序列，实现隐私保护，具有出色的遗忘后保留性能，优于现有技术水平。

Jun, 2024

LLM上的大型语言模型锤炼了丰富的文献，不可避免地保留了敏感数据，如个人隐私信息和受版权保护的材料。本研究旨在评估目前的去学习过程是否会无意中抹掉重要的知识，并提出了一种名为MemFlex的简单而有效的方法，该方法利用梯度信息来精确地针对和去学习敏感参数。实验证明MemFlex在LLM的精确知识去学习和一般知识保留方面优于现有方法。

Jul, 2024