从仁慈到恶意:机器遗忘中善意数据的威胁
本文研究用户信息的删除和机器去学习概念,阐述了目前保证用户隐私的方法以及可能出现的潜在攻击方式,其中特别探讨了有意设计的训练数据能触发完全重新训练的中毒攻击。
Sep, 2021
在机器重学习等场景中,我们介绍伪装数据污染攻击,一种新的攻击方式,其步骤包括添加一些精心构造的点到训练数据集中,并在之后的请求中删除其中的一部分,从而导致模型的预测产生负面影响,我们考虑的是在包括 CIFAR-10、Imagenette 和 Imagewoof 数据集中加入洁净标签有针对性的攻击并使用伪装数据点来实现此攻击。
Dec, 2022
该调查提供了机器遗忘技术的简明评估,概述了准确和近似方法、可疑攻击和验证方法,并比较了每种方法的优点和局限性,评估了它们的性能,突出了挑战性的需求。提供强大的非IID删除模型以缓解公平性问题,并指出该领域未来的研究方向,旨在为寻求在ML系统中提供隐私和平等的研究人员和从业者提供有价值的资源。
May, 2023
机器遗忘是一项关键技术,用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析,并回顾了最新的解决方案,讨论了其优势和限制,并提出了未来的发展方向,以推动机器遗忘作为一项必要的可信和自适应机器学习能力。
Aug, 2023
机器学习模型面对大规模互联网数据集引起的数据完整性挑战,本研究探讨在检测到数据被篡改或错误时模型开发者能够做出的应对措施。我们将“修正机器遗忘”定义为解决训练模型中受未知篡改影响数据的问题,尽管只能知道受影响样本的一个小部分。我们发现修正遗忘问题与传统的注重隐私的遗忘方法有显著不同的要求。我们希望我们的工作能促进对修正遗忘方法的研究,为处理来自于大规模网络训练带来的数据完整性挑战的从业者提供新的策略。
Feb, 2024
通过引入新的抗干扰方法和寻找适合的超参数来解决恶意攻击和毒数据从已训练模型中删除的问题,我们的方法在CIFAR10和CIFAR100数据集上检验后,毒数据去除效果显著,修复了93.72%的毒样本,相较于全模型重新训练方法(40.68%)和Selective Synaptic Dampening方法(83.41%),我们的方法降低了模型准确率丧失的程度。
Jun, 2024
我们重新审视了用于大规模深度学习的几种近似机器遗忘方法的功效。虽然现有的遗忘方法在一些评估设置下表现出了有效性,但我们实验证明它们无法消除数据污染的影响,在各种类型的污染攻击和模型中都表现出失败的情况。我们引入了基于数据污染的遗忘评估指标,结果表明需要更广泛的视角来避免对没有可证保证的深度学习机器遗忘程序产生虚假的自信。此外,我们的工作表明尽管遗忘方法在有效消除毒害数据点方面显示出一些迹象且无需重新训练,但目前这些方法还不是“时机已到”,并且相对于重新训练而言带来的好处有限。
Jun, 2024
本研究解决了在私人数据上微调大型语言模型时可能带来的隐私风险。我们提出了一种新颖的攻击方法——模型遗忘技术,利用这一技术提升了隐私数据泄露的可能性,并在验证中显示出显著优于基线的效果。这项研究警示用户下载未经验证的预训练模型时可能面临的风险。
Aug, 2024
本研究针对机器遗忘在金融和电子商务应用中的安全及数据攻击进行调查,分析了成员推断攻击和数据重建攻击等隐私威胁。提出了包括差分隐私和零知识证明等一系列防御策略,以增强机器遗忘机制的安全性,保障数据完整性和隐私,并强调了针对不断演变的攻击向量的持续研究和创新的重要性。
Sep, 2024