药剂：走向毒物遗忘

Jun, 2024

Potion: Towards Poison Unlearning

Stefan Schoepf, Jack Foster, Alexandra Brintrup

TL;DR通过引入新的抗干扰方法和寻找适合的超参数来解决恶意攻击和毒数据从已训练模型中删除的问题，我们的方法在 CIFAR10 和 CIFAR100 数据集上检验后，毒数据去除效果显著，修复了 93.72% 的毒样本，相较于全模型重新训练方法（40.68%）和 Selective Synaptic Dampening 方法（83.41%），我们的方法降低了模型准确率丧失的程度。

Abstract

adversarial attacks by malicious actors on machine learning systems, such as introducing poison triggers into training datasets, pose significant risks. The challenge in resolving such an attack arises in practic

adversarial attacks machine learning systems poison unlearning selective synaptic dampening model protection

发现论文，激发创造

难以忘怀：基于认证机器遗忘的毒化攻击

本文研究用户信息的删除和机器去学习概念，阐述了目前保证用户隐私的方法以及可能出现的潜在攻击方式，其中特别探讨了有意设计的训练数据能触发完全重新训练的中毒攻击。

Sep, 2021

机器反学习无法消除数据投毒攻击

我们重新审视了用于大规模深度学习的几种近似机器遗忘方法的功效。虽然现有的遗忘方法在一些评估设置下表现出了有效性，但我们实验证明它们无法消除数据污染的影响，在各种类型的污染攻击和模型中都表现出失败的情况。我们引入了基于数据污染的遗忘评估指标，结果表明需要更广泛的视角来避免对没有可证保证的深度学习机器遗忘程序产生虚假的自信。此外，我们的工作表明尽管遗忘方法在有效消除毒害数据点方面显示出一些迹象且无需重新训练，但目前这些方法还不是 “时机已到”，并且相对于重新训练而言带来的好处有限。

Jun, 2024

机器遗忘使伪装中毒攻击变得隐蔽

在机器重学习等场景中，我们介绍伪装数据污染攻击，一种新的攻击方式，其步骤包括添加一些精心构造的点到训练数据集中，并在之后的请求中删除其中的一部分，从而导致模型的预测产生负面影响，我们考虑的是在包括 CIFAR-10、Imagenette 和 Imagewoof 数据集中加入洁净标签有针对性的攻击并使用伪装数据点来实现此攻击。

Dec, 2022

自然语言处理模型中的隐蔽数据毒化攻击

本研究开发了一种新的数据污染攻击方法，能够在训练数据中插入少量样本并控制模型预测结果，其中包含一个特定的强制词，同时提出了三种缓解该攻击的防御策略。

Oct, 2020

通过概念推断和数据注入进行复杂数据的类别机器遗忘

在当前人工智能时代中，用户可能要求 AI 公司从训练数据集中删除他们的数据以保护隐私。作为模型所有者，重新训练模型将消耗大量计算资源。因此，机器遗忘是一种新兴的技术，允许模型所有者删除请求的训练数据或一个类别，对模型性能影响较小。然而，对于大规模复杂的数据，如图像或文本数据，从模型中删除一个类别会导致性能下降，因为很难确定类别和模型之间的联系。本文中，为了准确定义复杂数据的遗忘类别，我们应用概念的定义来代表遗忘类别的语义信息，而不是图像特征或文本数据的标记。这种新的表示可以切断模型和类别之间的联系，从而完全消除一个类别的影响。为了分析复杂数据概念的影响，我们采用后验概念瓶颈模型和综合梯度来精确识别不同类别之间的概念。接下来，我们利用带有随机和有针对性标签的数据毒化提出了遗忘方法。我们在图像分类模型和大型语言模型上测试了我们的方法，结果一致表明提出的方法可以准确地从模型中擦除目标信息，并且可以在很大程度上保持模型的性能。

May, 2024

无声杀手：优化后门触发器从而实现隐蔽而强大的数据投毒攻击

利用数据污染，添加即便微小干扰也能改变模型原本判断的样本分类，且添加的干扰本身难以被发现，同时在效率上有所提升的神经网络后门攻击方法。

Jan, 2023

真相血清：毒化机器学习模型揭示它们的秘密

介绍了一种新的针对机器学习模型的攻击方式，即通过污染训练数据集，导致模型泄露属于其他用户的私人数据。该攻击包括成员推断、属性推断和数据提取等多方面，可能会危及多方面的用户隐私。

Mar, 2022

纠正机器遗忘

机器学习模型面对大规模互联网数据集引起的数据完整性挑战，本研究探讨在检测到数据被篡改或错误时模型开发者能够做出的应对措施。我们将 “修正机器遗忘” 定义为解决训练模型中受未知篡改影响数据的问题，尽管只能知道受影响样本的一个小部分。我们发现修正遗忘问题与传统的注重隐私的遗忘方法有显著不同的要求。我们希望我们的工作能促进对修正遗忘方法的研究，为处理来自于大规模网络训练带来的数据完整性挑战的从业者提供新的策略。

Feb, 2024

训练时间反欺骗的渐进式有毒数据隔离

通过渐进隔离被污染数据的新方法 (PIPD)，该论文提出了一种有效的训练策略，以训练一个干净的模型，并降低良性数据被错误分类为污染数据的风险。实验结果表明，PIPD 在多个数据集和 DNN 模型上均表现优异，对多种后门攻击的识别能力显著超过了现有方法。

Dec, 2023

基于毒化的任意目标标签带正触发器的后门攻击

通过利用纯净数据集训练的网络作为触发器生成器，该研究提出了一种新的触发器分类方法并开发了一种多标签和多负载的基于毒化的反向门攻击（PPT），该方法可以在不牺牲准确率的情况下在各种数据集上实现高攻击成功率。

May, 2024