通过建立大规模多模态语言模型（Multimodal Large Language Models）的遗忘模型，研究了 “机器遗忘”（Machine unlearning）中的视觉数据遗忘问题，提出了一种高效的方法 Single Image Unlearning（SIU），通过对单个相关图像进行微调，实现对概念的可视化识别的遗忘。实验证明 SIU 显著优于现有方法，并能够避免入侵式成员推断攻击和越狱攻击。

May, 2024

探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作为开发生成式 AI 的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了 LLM 遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。

Feb, 2024

该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

May, 2023

为了解决目前机器遗忘研究领域的不一致性和局限性，研究者们开发了 MU-Bench，这是第一个综合性的机器遗忘基准测试，它统一了删除样本和训练模型的集合，并广泛涵盖了任务和数据模态，包括语音和视频分类， evaluation 结果表明，RandLabel 和 SalUn 是 MU-Bench 上最有效的一般机器遗忘方法，而 BadT 和 SCRUB 能够在删除集合上达到随机性能，此外，研究还分析了一些尚未完全研究的机器遗忘方面，包括可扩展性，参数高效微调和课程学习的影响，以及对数据集偏差的敏感性，MU-Bench 提供了易于使用的工具包，包含了数据集划分，模型和实现，以及一个排行榜，以促进统一和可扩展的机器遗忘研究。

Jun, 2024

机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。

May, 2024

该论文通过研究机器忘记（MUL）在推荐系统中的应用，讨论了适应性、个性化、隐私和偏见等挑战，并提出了类似传统模型的 MUL 通过根据用户偏好和伦理考量动态调整系统知识的方法。论文批判性地审查了 MUL 的基础知识、实际应用和算法透明度等挑战，并提供了关于 MUL 如何改变推荐、讨论用户信任以及未来研究方向的见解。该文档引导研究人员克服个性化与隐私之间的权衡挑战，鼓励提供满足有针对性的数据删除实际需求的贡献。同时，强调了 MUL 在安全和适应性机器学习中的作用，并提出了推动其发展边界的方法。该论文的创新之处在于对这些方法的局限性进行了探索，为推进该领域的发展提供了激动人心的前景。

Jan, 2024

机器遗忘是人工智能中的一个新领域，专注于解决在机器学习模型中有选择地遗忘或减少不良知识或行为的挑战，特别是在大型语言模型（LLM）的背景下。本文介绍了一种使用梯度上升算法对 LLM 进行对齐的方法，以便符合伦理、隐私和安全标准，并目标性地删除或修改 LLM 中的学习信息，以解决有害回应和版权问题。

May, 2024

大型语言模型开创了人工智能的进展，然而它们可能会危险地记忆和传播敏感、偏见或受版权保护的信息。机器遗忘作为一种尖端解决方案应运而生，针对大型语言模型提供了一种选择性丢弃某些数据的技术，以解决隐私、道德和法律方面的挑战，无需进行完整的模型重新训练。本文回顾了关于大型语言模型的机器遗忘的最新研究，介绍了针对文本数据和分类数据的遗忘方法，并展示了这些方法在删除特定数据的同时保持模型高效性的有效性。本文还强调了机器遗忘的实用性，指出了保持模型完整性、避免过度或不足的数据删除以及确保一致的输出等问题，突出了机器遗忘在推动负责任、道德的人工智能方面的作用。

Mar, 2024

机器遗忘（MU）是遗忘一个经过训练的模型中的数据，这是非常重要的，因为要保护 “被遗忘权”。本文从训练数据和未知数据对模型的贡献之间的基本区别出发，理论上发现输入灵敏度可以近似度量贡献，并实际设计了一个名为 MU-Mis（通过最小化输入灵敏度进行机器遗忘）的算法，以抑制遗忘数据的贡献。实验结果表明，MU-Mis 在很大程度上优于最先进的 MU 方法。此外，MU-Mis 与 MU 的应用更加密切，因为它不需要使用剩余数据。

Feb, 2024

通过提供深入探讨机器消遣技术的定义、分类和评价标准，以及不同环境下的挑战和解决方案，本文对传统模型和大型语言模型上的消遣进行分类和研究，提出了评估消遣效果和效率的方法以及性能测量标准。本文揭示了当前消遣技术的局限性，并强调了全面的消遣评估的重要性，以避免随意的遗忘。该调查不仅总结了消遣技术的关键概念，还指出了其突出问题和未来研究的可行方向，为该领域的学者提供了有价值的指导。

Apr, 2024