本文研究机器取消学习对隐私的影响,并通过提出新型会员推理攻击来论证了取消学习会留下数据迹象,从而产生意外隐私风险。我们提出了四种方法来减轻这些隐私风险,包括发布预测标签,温度缩放和差分隐私。
May, 2020
本文研究用户信息的删除和机器去学习概念,阐述了目前保证用户隐私的方法以及可能出现的潜在攻击方式,其中特别探讨了有意设计的训练数据能触发完全重新训练的中毒攻击。
Sep, 2021
本文旨在对机器学习模型中“遗忘特定数据”的概念、场景、方法和应用进行综合性探讨,并为研究人员和从业人员提供包括设计标准和算法在内的全面资源,以帮助创新隐私技术和提醒相关研究领域存在的问题。
Sep, 2022
该调查提供了机器遗忘技术的简明评估,概述了准确和近似方法、可疑攻击和验证方法,并比较了每种方法的优点和局限性,评估了它们的性能,突出了挑战性的需求。提供强大的非IID删除模型以缓解公平性问题,并指出该领域未来的研究方向,旨在为寻求在ML系统中提供隐私和平等的研究人员和从业者提供有价值的资源。
May, 2023
机器去学习的关键概念、影响因素和机制的综述,提供对威胁和防御的分类、方法和解决方案的建议,以促进未来研究和实际应用的发展。
Mar, 2024
机器遗忘是出于对数据自治的渴望:一个人可以要求使其数据在部署模型中的影响消失,并且这些模型应该更新,就像重新训练而没有该人的数据一样。然而,我们展示出这些更新与个人之间会暴露出高精度的重构攻击,这使得攻击者可以完整地恢复其数据,即使原始模型如此简单,以至于隐私风险可能不会引起担忧。我们展示了如何对线性回归模型中删除的数据点发起近乎完美的攻击。然后,我们将我们的攻击泛化到其他损失函数和架构,并在范围广泛的数据集上实证证明了我们的攻击的有效性(涵盖表格数据和图像数据)。我们的工作强调了即使对于极其简单的模型类别,当个人可以要求在模型中删除他们的数据时,隐私风险仍然是显著的。
May, 2024
该论文提出了一个游戏理论框架,将成员推理攻击(MIAs)与机器遗忘算法的设计整合在一起,从而以对抗性的方式主动地将攻击纳入算法设计中,利用隐式微分限制攻击者的成功,以实现从模型中遗忘特定的训练数据。
Jun, 2024
通过借助先前和后续模型访问,我们提出了文本消除泄漏攻击(TULA),从而证明机器遗忘在语言模型中会扩大知识泄漏的风险,包括黑盒和白盒场景下推断未学习数据的能力增强,以及通过白盒访问直接重构未学习数据的准确性。这项工作首次揭示了语言模型中的机器遗忘逆向创造了更大的知识风险,并鼓励更安全的遗忘机制的发展。
通过无差别攻击数据 poising 在机器取消学习中腐蚀模型准确度的弱点,本研究强调了对于机器取消学习中的“数据污染”问题的进一步研究的必要性。
Jul, 2024
本研究解决了在私人数据上微调大型语言模型时可能带来的隐私风险。我们提出了一种新颖的攻击方法——模型遗忘技术,利用这一技术提升了隐私数据泄露的可能性,并在验证中显示出显著优于基线的效果。这项研究警示用户下载未经验证的预训练模型时可能面临的风险。
Aug, 2024