Oct, 2024

基于层次相关分析和神经路径扰动的零-shot类遗忘

HTML
PDF
TL;DR本研究旨在解决机器学习中数据遗忘难题，尤其是在保护隐私和保持模型性能方面。提出了一种新的机器遗忘方法，通过层次相关分析和对高度相关神经元的扰动，实现高效的零-shot遗忘和隐私保护。实验表明，该方法能够有效去除目标数据，同时维持模型的实用性，为隐私保护的机器学习提供了切实可行的解决方案。
发现论文，激发创造
  • 学习如何忘却：机器遗忘调查

    该调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。提供强大的非IID删除模型以缓解公平性问题，并指出该领域未来的研究方向，旨在为寻求在ML系统中提供隐私和平等的研究人员和从业者提供有价值的资源。

    May, 2023

  • 机器取消学习：解决方案与挑战

    机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

    Aug, 2023

  • 层级攻击遗忘：通过层级攻击和知识蒸馏实现快速准确的机器遗忘

    该研究提出了一种在机器学习中，通过层攻击遗忘和知识蒸馏来解决训练集中的个人数据隐私问题的快速机器遗忘范式，通过大量实验证明了该方法在准确性和全链路遗忘性能上的有效性。

    Dec, 2023

  • 通过细粒度模型参数扰动进行机器反学习

    机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标——遗忘率和记忆保留率。通过实施这些创新技术和指标，我们在不显著牺牲模型性能的前提下实现了高效的隐私保护，并提供了一种评估遗忘程度的新方法。

    Jan, 2024

  • 兰格万去学习：机器去学习的噪音梯度下降的新视角

    基于噪声梯度下降的兰格文反训练为近似反训练问题提供隐私保证，将DP学习过程与隐私认证的反训练过程统一，具有多种算法优势，包括非凸问题的近似认证的反训练、与重新训练相比的复杂性节约、用于多个反训练请求的顺序和批量反训练。通过在基准数据集上进行实验验证了兰格文反训练的实用性和隐私-效用-复杂性的权衡，并展示了其相对于基于梯度下降加输出扰动的近似反训练的优越性。

    Jan, 2024

  • 遗忘而不被遗忘：机器遗忘的改进基准

    机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

    May, 2024

  • 一种更实用的机器取消学习方法

    机器学习中的模型撤销能够有效解决数据隐私问题，本研究通过实证评估表明首次梯度上升法在机器学习中的撤销过程更为有效，突出了其在提升数据隐私和符合法规（如GDPR和CCPA）方面的潜力。

    Jun, 2024

  • 高退训比例下的最小梯度相关性机器反学习

    Mini-Unlearning是一种轻量级、可扩展的方法，通过最小的一部分历史梯度以及收缩映射来有效地实现高比例的machine unlearning，提高模型准确性并增强对隐私攻击的抵抗力。

    Jun, 2024

  • 暗影中的曙光：利用成员推断进行机器去学习

    通过创造一种新的损失函数，将目标分类损失和成员推断损失相结合，用于从神经网络中删除敏感信息的机器遗忘机制，本研究通过成员推断机制作为概念验证，提供了实验证据，证明了我们的遗忘方法在遗忘效果、延迟和主要任务准确性方面的优越性。

    Jul, 2024

  • 伪概率遗忘：朝着高效和隐私保护的机器遗忘

    本研究解决了机器学习模型在处理偏见数据及遵循隐私法规（如GDPR“被遗忘权”）时的遗忘机制不足的问题。提出的伪概率遗忘（PPU）方法，通过使用伪概率替代最终输出，实现了高效且隐私保护的数据遗忘。实验表明，该方法在遗忘错误率上相比现有技术提高超过20%，同时有效降低了被推断的风险。

    Nov, 2024