不精确的遗忘需要更谨慎的评估以避免虚假隐私感

Mar, 2024

不精确的遗忘需要更谨慎的评估以避免虚假隐私感

Inexact Unlearning Needs More Careful Evaluations to Avoid a False Sense of Privacy

Jamie Hayes, Ilia Shumailov, Eleni Triantafillou, Amr Khalifa, Nicolas Papernot

TL;DR开发用于消除模型训练影响的非学习技术，研究了基于反向学习设置的成员推断攻击 (U-MIA)，发现不同类别的 U-MIA 强度与基于视觉和语言模型的现有非学习技术所提供的隐私保护高度相关，同时揭示了几种非学习算法对不同训练示例的潜在漏洞，以及保护所有示例的困难和试图适应停止条件的失败。

Abstract

The high cost of model training makes it increasingly desirable to develop techniques for unlearning. These techniques seek to remove the influence of a training example without having to retrain the model from scratch. Intuitively, once a model has unlearned, an adversary that interac

unlearning membership inference attacks (mias)privacy protection vulnerability training examples

发现论文，激发创造

对抗式机器遗忘

该论文提出了一个游戏理论框架，将成员推理攻击（MIAs）与机器遗忘算法的设计整合在一起，从而以对抗性的方式主动地将攻击纳入算法设计中，利用隐式微分限制攻击者的成功，以实现从模型中遗忘特定的训练数据。

Jun, 2024

可靠的经验式机器去学习评估：博弈论视角

这项研究提出了一种新的、可靠的方法来实证评估机器遗忘算法，为更有效的遗忘技术的发展铺平了道路。

Apr, 2024

机器学习退训对隐私的危害

本文研究机器取消学习对隐私的影响，并通过提出新型会员推理攻击来论证了取消学习会留下数据迹象，从而产生意外隐私风险。我们提出了四种方法来减轻这些隐私风险，包括发布预测标签，温度缩放和差分隐私。

May, 2020

暗影中的曙光：利用成员推断进行机器去学习

通过创造一种新的损失函数，将目标分类损失和成员推断损失相结合，用于从神经网络中删除敏感信息的机器遗忘机制，本研究通过成员推断机制作为概念验证，提供了实验证据，证明了我们的遗忘方法在遗忘效果、延迟和主要任务准确性方面的优越性。

Jul, 2024

遗忘而不被遗忘：机器遗忘的改进基准

机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

May, 2024

机器取消学习：解决方案与挑战

机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

Aug, 2023

非非学习：在先进生成型人工智能中，非学习不足以进行内容监管

该论文讨论了在大型语言模型中使用取消学习作为一种控制机制，并发现取消学习在训练阶段是有效的，但无法阻止模型在推断过程中出现不合规的行为，因此对于有效的内容规范，需要进行内容过滤以及引入取消取消学习的概念来解决问题。

Jun, 2024

判别对抗解除

自介绍一个新颖的机器遗忘框架，基于最小 - 最大优化范式的既定原理，并 capitalized on strong Membership Inference Attacks（MIA）的能力来促进从训练模型中遗忘特定样本。

Feb, 2024

近似机器遗忘是否得到适当评估？从审计到副作用

通过引入明确定义和有效的度量标准来解决黑箱取消学习审核任务的挑战，该论文分析了当前近似机器取消学习算法的实用性、韧性和公平性，并旨在将数据遗忘的理论权利转化为可审计的现实。

Mar, 2024

难以忘怀：基于认证机器遗忘的毒化攻击

本文研究用户信息的删除和机器去学习概念，阐述了目前保证用户隐私的方法以及可能出现的潜在攻击方式，其中特别探讨了有意设计的训练数据能触发完全重新训练的中毒攻击。

Sep, 2021