用记忆法码实现单次机器遗忘
机器遗忘（MU）是遗忘一个经过训练的模型中的数据，这是非常重要的，因为要保护 “被遗忘权”。本文从训练数据和未知数据对模型的贡献之间的基本区别出发，理论上发现输入灵敏度可以近似度量贡献，并实际设计了一个名为 MU-Mis（通过最小化输入灵敏度进行机器遗忘）的算法，以抑制遗忘数据的贡献。实验结果表明，MU-Mis 在很大程度上优于最先进的 MU 方法。此外，MU-Mis 与 MU 的应用更加密切，因为它不需要使用剩余数据。
Feb, 2024
机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。
May, 2024
该研究旨在调查机器遗忘（MU），这是一个新兴领域，专注于解决神经模型意外保留个人或敏感数据的问题。本文介绍了一种新的方法，以实现语言模型内的精确选择性遗忘，并提出了两个创新的评估指标：敏感信息提取可能性（S-EL）和敏感信息记忆准确性（S-MA），用于衡量消除敏感信息的有效性。为了加强遗忘框架，提出了一种有效的敏感区域注释方法，包括在线和离线策略。在线选择机制利用语言概率得分确保计算效率，而离线注释则采用基于大型语言模型（LLMs）的强大两阶段过程。
Feb, 2024
通过建立大规模多模态语言模型（Multimodal Large Language Models）的遗忘模型，研究了 “机器遗忘”（Machine unlearning）中的视觉数据遗忘问题，提出了一种高效的方法 Single Image Unlearning（SIU），通过对单个相关图像进行微调，实现对概念的可视化识别的遗忘。实验证明 SIU 显著优于现有方法，并能够避免入侵式成员推断攻击和越狱攻击。
May, 2024
该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。
May, 2023
本文提出了一种基于 MCU 算法的机器学习模型快速且高效地去除数据子集的方案，并利用 MCU 鉴别和标志对模型预测产生影响的对抗或隐私数据。实验表明，MCU 可以从训练数据集的子集中有效地去除模型的影响，并优于现有的算法。
Feb, 2022
本論文提出了一個名為 Zero-shot 機器學習的新問題，探討如何從 MOD 交易所中刪除特定集合或類別的數據，介紹一種基於誤差最小化最大化噪音和門控知識傳遞的解決方案，實驗結果在基準視覺數據集上展示了良好的效果。
Jan, 2022
机器反学习（MU）通过从训练模型中删除有关 “遗忘数据” 样本的信息来解决隐私问题。我们质疑使用现有的评估方法是否有效，并提出了一种量化中间特征中关于遗忘数据样本的剩余信息的度量指标，称为信息差异指数（IDI），以更好地评估 MU 方法。IDI 通过高效地分析 DNNs 的内部结构来提供综合评估。
May, 2024
探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作为开发生成式 AI 的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了 LLM 遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。
Feb, 2024