LMEraser：通过自适应提示调整进行大模型消除

Apr, 2024

LMEraser：通过自适应提示调整进行大模型消除

LMEraser: Large Model Unlearning through Adaptive Prompt Tuning

Jie Xu, Zihan Wu, Cong Wang, Xiaohua Jia

TL;DR为了满足对机器学习隐私保护的不断增长需求，我们提出了一种名为 LMEraser 的适用于大型模型的新颖高效的机器去学习方法。LMEraser 采用分治策略和提示调整架构来隔离数据影响，并实现训练数据集的适应性分区，从而显著降低去学习成本且保持模型性能。与以往研究相比，LMEraser 实现了 100 倍的去学习成本减少而不影响准确性。

Abstract

To address the growing demand for privacy protection in machine learning, we propose a novel and efficient machine unlearning approach for \textbf{L}arge \textbf{M}odels, called \textbf{LM}Eraser. Existing unlear

privacy protection machine unlearning large models prompt tuning architecture unlearning costs

发现论文，激发创造

ERASER：MLaaS 中基于推理服务感知的机器消除

提出了 ERASER 框架，通过一个推理服务意识的方法来实现 MLaaS 中的机器解学习。ERASER 提供了一种新颖的认证推理一致性机制，通过有选择性地延迟来自数据所有者的解学习请求，从而降低推理延迟，并严格遵守 RTBF 原则。在各种设置下进行了大量实证评估，确认了 ERASER 的效果，例如，它可以有效节省高达 99% 的推理延迟和 31% 的计算开销。

Nov, 2023

上下文学习中的不可学习算法

机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。

Feb, 2024

遗忘您想遗忘的内容：针对 LLMs 的高效遗忘方法

提出了一种高效的取消学习框架，通过引入轻量级的取消学习层并与 transformers 结合，可以在不对整个模型重新训练的情况下有效地更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明，与现有技术相比，我们提出的方法在分类和生成任务上的有效性得到了验证。

Oct, 2023

数据擦除的前沿：大型语言模型的机器取消学习

大型语言模型开创了人工智能的进展，然而它们可能会危险地记忆和传播敏感、偏见或受版权保护的信息。机器遗忘作为一种尖端解决方案应运而生，针对大型语言模型提供了一种选择性丢弃某些数据的技术，以解决隐私、道德和法律方面的挑战，无需进行完整的模型重新训练。本文回顾了关于大型语言模型的机器遗忘的最新研究，介绍了针对文本数据和分类数据的遗忘方法，并展示了这些方法在删除特定数据的同时保持模型高效性的有效性。本文还强调了机器遗忘的实用性，指出了保持模型完整性、避免过度或不足的数据删除以及确保一致的输出等问题，突出了机器遗忘在推动负责任、道德的人工智能方面的作用。

Mar, 2024

推荐算法遗忘

本论文提出了 RecEraser，一种针对推荐任务的通用，高效的机器遗忘框架，该框架将培训集分为多个分片，并为每个分片训练一个组成模型。通过三种新颖的数据分区算法将培训数据分成基于它们相似性的平衡组，然后提出一种自适应聚合方法来提高全局模型效用，实验结果表明，RecEraser 不仅可以实现高效的遗忘，而且在模型效用方面也优于最先进的遗忘方法。

Jan, 2022

Eraser: 大语言模型中逆向防御通过遗忘有害知识

本文介绍了一种名为 Eraser 的新型防御方法，它能够有效减少各种攻击对模型的越狱成功率，而不影响模型的一般能力。

Apr, 2024

大型语言模型中的机器遗忘

机器遗忘是人工智能中的一个新领域，专注于解决在机器学习模型中有选择地遗忘或减少不良知识或行为的挑战，特别是在大型语言模型（LLM）的背景下。本文介绍了一种使用梯度上升算法对 LLM 进行对齐的方法，以便符合伦理、隐私和安全标准，并目标性地删除或修改 LLM 中的学习信息，以解决有害回应和版权问题。

May, 2024

大型语言模型中的软提示对取消学习的影响

通过在训练数据的子集上实现遗忘的相对较轻量级替代方案，我们的研究框架 SPUL 能够显著改善使用 LLMs 进行文本分类时效用和遗忘之间的平衡。

Jun, 2024

预训练大型语言模型的机器消除学习

通过对预训练大语言模型的机器遗忘进行综合研究，我们探讨了‘被遗忘权’的概念，重点关注了尚未充分研究的预训练模型领域。通过对来自 arXiv、书籍和 GitHub 的精选数据集进行严格评估，我们建立了机器遗忘性能的鲁棒基准，并证明这些方法的计算效率比重新训练高出 10^5 倍。我们的研究结果表明，在分布数据上将梯度上升与梯度下降相结合可以提高超参数的稳健性。此外，我们还提供了高效超参数调整的详细指南。我们的发现推动了关于道德 AI 实践的讨论，为预训练大语言模型的机器遗忘机制提供了实质性的见解，并强调了负责任的 AI 发展的潜力。

Feb, 2024

传统模型与大型语言模型的机器遗忘：简要调查

通过提供深入探讨机器消遣技术的定义、分类和评价标准，以及不同环境下的挑战和解决方案，本文对传统模型和大型语言模型上的消遣进行分类和研究，提出了评估消遣效果和效率的方法以及性能测量标准。本文揭示了当前消遣技术的局限性，并强调了全面的消遣评估的重要性，以避免随意的遗忘。该调查不仅总结了消遣技术的关键概念，还指出了其突出问题和未来研究的可行方向，为该领域的学者提供了有价值的指导。

Apr, 2024