SNAP: 大型语言模型中选择性知识的去学习与负指令

Jun, 2024

SNAP: 大型语言模型中选择性知识的去学习与负指令

SNAP: Unlearning Selective Knowledge in Large Language Models with Negative Instructions

Minseok Choi, Daniel Rim, Dohyun Lee, Jaegul Choo

TL;DR本研究提出 SNAP 框架，通过训练带有负面指令的大型语言模型（LLMs）生成抹除的回复，并应用新颖的 Wasserstein 正则化方法，成功地选择性地遗忘指定的信息，保留原始 LLM 能力。

Abstract

instruction-following large language models (LLMs), such as ChatGPT, have become increasingly popular with the general audience, many of whom are incorporating them into their daily routines. However, these LLMs inadvertently disclose personal or copyrighted information, which calls fo

instruction-following large language models machine unlearning method snap framework negative instructions wasserstein regularization

发现论文，激发创造

通过机器遗忘实现更安全的大型语言模型

通过选择性知识否定消除（SKU）框架，我们可以有效地识别和去除大语言模型中的有害知识，同时保持模型对正常提示的有效性。

Feb, 2024

大型语言模型中的机器遗忘

机器遗忘是人工智能中的一个新领域，专注于解决在机器学习模型中有选择地遗忘或减少不良知识或行为的挑战，特别是在大型语言模型（LLM）的背景下。本文介绍了一种使用梯度上升算法对 LLM 进行对齐的方法，以便符合伦理、隐私和安全标准，并目标性地删除或修改 LLM 中的学习信息，以解决有害回应和版权问题。

May, 2024

遗忘您想遗忘的内容：针对 LLMs 的高效遗忘方法

提出了一种高效的取消学习框架，通过引入轻量级的取消学习层并与 transformers 结合，可以在不对整个模型重新训练的情况下有效地更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明，与现有技术相比，我们提出的方法在分类和生成任务上的有效性得到了验证。

Oct, 2023

负面偏好优化：从灾难性崩溃到有效的遗忘

大型语言模型（LLMs）在预训练过程中经常记忆敏感、私人或受版权保护的数据。LLM unlearning 旨在消除预训练模型中不需要的数据的影响，同时保留模型在其他任务上的效用。本文提出了一种简单的基于对齐的方法 ——Negative Preference Optimization（NPO），可以高效有效地 unlearn 目标数据集。通过在合成数据和基准 TOFU 数据集上的实验证明，基于 NPO 的方法在 unlearn 不需要的数据和保持模型效用之间取得了更好的平衡。我们还观察到，与输出通常为无意义的 GA-based 方法相比，基于 NPO 的方法生成更有意义的输出。值得注意的是，在 TOFU 上，基于 NPO 的方法在忘记 50%（或更多）训练数据方面取得了合理的 unlearning 结果，而现有的方法已经在忘记 10% 的训练数据方面存在困难。

Apr, 2024

大型语言模型遗忘

我们研究了如何在大型语言模型中执行遗忘，即忘记不受欢迎的行为，并展示了三种情况下进行语言模型与人类偏好的对齐可以从学习中受益：（1）删除有害回应，（2）根据要求删除受版权保护的内容，以及（3）消除幻觉。我们的工作是探索语言模型遗忘中首个实现，并在设置、目标和评估方面都是先驱。我们还表明，如果从业者只有有限的资源，优先级是停止生成不受欢迎的输出而不是生成理想的输出，那么遗忘尤其吸引人。尽管我们只具有负样本，但我们的消融研究显示，遗忘仍可以在仅使用 2％的计算时间时实现更好的对齐性能比 RLHF。

Oct, 2023

上下文中的遗忘：语言模型作为少样本遗忘器

提出了一种称为 “In-Context Unlearning” 的 LLM 的反学习方法，通过在推理时提供具有翻转标签和额外正确标记的实例作为输入，有效地从训练集中删除特定信息，同时保持与最先进的反学习方法相媲美甚至超过其性能水平。

Oct, 2023

大型语言模型的机器遗忘思考

探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作为开发生成式 AI 的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了 LLM 遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。

Feb, 2024

通过机器遗忘来避免版权侵权

在这篇论文中，我们提出了一种稳定的序列遗忘（SSU）框架，该框架使用任务向量，通过引入额外的随机标签损失和应用基于梯度的权重显著性映射，以更稳定的方式在不同的时间步骤中从 LLMs 中删除受版权保护的内容，实验证明 SSU 在遗忘效果和保持模型的一般知识之间取得了良好的平衡。

Jun, 2024

语言模型中知识退化以减少隐私风险

本研究提出知识遗忘（knowledge unlearning）作为一种减少预训练语言模型（pretrained language models）隐私风险的方法，通过对目标标记序列进行梯度上升来遗忘它们，并发现顺序遗忘优于尝试一次性遗忘所有数据，对于特定领域的数据，知识遗忘具有更强的实证隐私保证，同时更加高效和鲁棒。

Oct, 2022

选择性遗忘：推进机器遗忘技术和语言模型评估

该研究旨在调查机器遗忘（MU），这是一个新兴领域，专注于解决神经模型意外保留个人或敏感数据的问题。本文介绍了一种新的方法，以实现语言模型内的精确选择性遗忘，并提出了两个创新的评估指标：敏感信息提取可能性（S-EL）和敏感信息记忆准确性（S-MA），用于衡量消除敏感信息的有效性。为了加强遗忘框架，提出了一种有效的敏感区域注释方法，包括在线和离线策略。在线选择机制利用语言概率得分确保计算效率，而离线注释则采用基于大型语言模型（LLMs）的强大两阶段过程。

Feb, 2024