通过差分隐私实现机器去学习的严格界限
本文研究了在已训练好的模型中删除数据点的相关问题,特别是在凸损失的情况下提供了一个算法来取消学习的样本数,与差分隐私学习相比,演示了差分隐私和机器遗忘之间的新颖区别。
Mar, 2021
该调查提供了机器遗忘技术的简明评估,概述了准确和近似方法、可疑攻击和验证方法,并比较了每种方法的优点和局限性,评估了它们的性能,突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题,并指出该领域未来的研究方向,旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。
May, 2023
基于凸松弛的框架可以计算形式化的保证(证书),以满足特定预测的 ε=0 隐私保证,或者不依赖于可撤销请求的数据。验证为中心的隐私与撤销保证可用于增加用户信任度,提供针对某些成员推理攻击的鲁棒性的形式化证明,确定可能容易受攻击的记录,并增强当前的撤销方法。
Jun, 2024
本文研究机器取消学习对隐私的影响,并通过提出新型会员推理攻击来论证了取消学习会留下数据迹象,从而产生意外隐私风险。我们提出了四种方法来减轻这些隐私风险,包括发布预测标签,温度缩放和差分隐私。
May, 2020
在本研究中,我们提出了第一个可以证明并高效地消除数据实例并保持公平性的机器遗忘方法。通过理论结果和对真实世界数据集的广泛实验,我们展示了我们的方法在消除数据实例的同时保持公平性的功效。
Jul, 2023
机器学习模型存在安全漏洞,包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求,通过有效更新已训练模型的机器遗忘算法,以维持模型性能,避免重新训练模型的代价。本文提出了替代性的算法评估方法,通过针对图像识别数据集的实验,对当前机器遗忘算法进行更详细的评估,展示了该领域的最新状况。
May, 2024
本研究通过边界移动的方法,提出了一种高效的、可以快速忘记训练数据的机器遗忘技术 ——Boundary Unlearning,成功应用于图像分类和人脸识别等任务,并取得了预期的速度提升。
Mar, 2023
机器遗忘方法针对用户隐私保护目标有重要作用,但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略,以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标 —— 遗忘率和记忆保留率。通过实施这些创新技术和指标,我们在不显著牺牲模型性能的前提下实现了高效的隐私保护,并提供了一种评估遗忘程度的新方法。
Jan, 2024
机器遗忘是一项关键技术,用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析,并回顾了最新的解决方案,讨论了其优势和限制,并提出了未来的发展方向,以推动机器遗忘作为一项必要的可信和自适应机器学习能力。
Aug, 2023
将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响,以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降(SGD)的随机梯度 Langevin 遗忘框架,为凸性假设下的近似遗忘问题提供了带有隐私保证的第一个遗忘方法。我们的研究结果表明,与全批次更新相比,小批次梯度更新提供了更好的隐私 - 复杂性权衡。我们的遗忘方法具有许多算法上的优势,包括与重新训练相比的复杂性节省,以及支持顺序和批次遗忘。为了研究我们方法的隐私 - 效用 - 复杂性权衡,我们在基准数据集上进行了实验,与之前的工作进行了比较。相比于小批次和全批次设置下基于梯度的近似遗忘方法,我们的方法在相同隐私限制条件下使用了 2% 和 10% 的梯度计算,同时达到了类似的效用。
Mar, 2024