如何应对忘却困难问题

Jun, 2024

What makes unlearning hard and what to do about it

Kairan Zhao, Meghdad Kurmanji, George-Octavian Bărbulescu, Eleni Triantafillou, Peter Triantafillou

TL;DR机器遗忘是从训练模型中删除某个子集（即 “遗忘集”）的效果，而不损害模型的效用，例如遵守用户要求删除他们的数据，或删除错误标记、被污染或其他有问题的数据。本文通过调查两个影响遗忘难度和算法性能的关键因素，发现基于这些因素的遗忘集评估揭示了先进算法的新行为，从而改善了顶级的遗忘算法。

Abstract

machine unlearning is the problem of removing the effect of a subset of training data (the ''forget set'') from a trained model without damaging the model's utility e.g. to comply with users' requests to delete t

machine unlearning forget set unlearning algorithms refined-unlearning meta-algorithm state-of-the-art

发现论文，激发创造

机器取消学习：解决方案与挑战

机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

Aug, 2023

机器遗忘：一项全面调查

该研究综述了现有的机器去学习方法，系统地分类并讨论了其差异、联系和开放问题，包括集中式去学习、分布式和不规则数据去学习、去学习验证以及隐私和安全问题，并提出了潜在的研究方向。

May, 2024

机器遗忘综述

本文旨在对机器学习模型中 “遗忘特定数据” 的概念、场景、方法和应用进行综合性探讨，并为研究人员和从业人员提供包括设计标准和算法在内的全面资源，以帮助创新隐私技术和提醒相关研究领域存在的问题。

Sep, 2022

遗忘而不被遗忘：机器遗忘的改进基准

机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

May, 2024

学习如何忘却：机器遗忘调查

该调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题，并指出该领域未来的研究方向，旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。

May, 2023

上下文学习中的不可学习算法

机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。

Feb, 2024

传统模型与大型语言模型的机器遗忘：简要调查

通过提供深入探讨机器消遣技术的定义、分类和评价标准，以及不同环境下的挑战和解决方案，本文对传统模型和大型语言模型上的消遣进行分类和研究，提出了评估消遣效果和效率的方法以及性能测量标准。本文揭示了当前消遣技术的局限性，并强调了全面的消遣评估的重要性，以避免随意的遗忘。该调查不仅总结了消遣技术的关键概念，还指出了其突出问题和未来研究的可行方向，为该领域的学者提供了有价值的指导。

Apr, 2024

挑战遗忘：揭示机器非遗忘最差情况集合

机器遗忘 (MU) 是一个重要问题，旨在消除特定数据对模型性能的影响，同时保持模型的实用性。通过从对抗角度进行最坏情况遗忘子集的识别，我们提出了一种新的 MU 评估方法，通过双层优化原则在上层优化级别放大遗忘挑战，在下层进行标准训练和遗忘，实现数据影响擦除和模型实用性之间的平衡。我们的研究揭示了 MU 在实践中的复杂挑战，指导未来更准确、更鲁棒的遗忘算法的发展。

Mar, 2024

难以忘怀：基于认证机器遗忘的毒化攻击

本文研究用户信息的删除和机器去学习概念，阐述了目前保证用户隐私的方法以及可能出现的潜在攻击方式，其中特别探讨了有意设计的训练数据能触发完全重新训练的中毒攻击。

Sep, 2021

机器遗忘：综述

通过分类和总结现有的机器遗忘技术的特点，本文综述了机器遗忘技术的关键理念，并讨论了其面临的挑战和未来的研究机会。

Jun, 2023