May, 2024

评估遗忘模型的信息论度量

PDF
TL;DR机器反学习（MU）通过从训练模型中删除有关 “遗忘数据” 样本的信息来解决隐私问题。我们质疑使用现有的评估方法是否有效，并提出了一种量化中间特征中关于遗忘数据样本的剩余信息的度量指标，称为信息差异指数（IDI），以更好地评估 MU 方法。IDI 通过高效地分析 DNNs 的内部结构来提供综合评估。
machine unlearningprivacy concernsevaluation metricsmembership inference attacksinformation difference index
发现论文，激发创造
  • 可靠的经验式机器去学习评估：博弈论视角

    这项研究提出了一种新的、可靠的方法来实证评估机器遗忘算法，为更有效的遗忘技术的发展铺平了道路。

    Apr, 2024

  • 单图像去学习：多模态大型语言模型中高效的机器去学习

    通过建立大规模多模态语言模型（Multimodal Large Language Models）的遗忘模型，研究了 “机器遗忘”（Machine unlearning）中的视觉数据遗忘问题，提出了一种高效的方法 Single Image Unlearning（SIU），通过对单个相关图像进行微调，实现对概念的可视化识别的遗忘。实验证明 SIU 显著优于现有方法，并能够避免入侵式成员推断攻击和越狱攻击。

    May, 2024

  • 通过抑制样本贡献实现机器消减

    机器遗忘（MU）是遗忘一个经过训练的模型中的数据，这是非常重要的，因为要保护 “被遗忘权”。本文从训练数据和未知数据对模型的贡献之间的基本区别出发，理论上发现输入灵敏度可以近似度量贡献，并实际设计了一个名为 MU-Mis（通过最小化输入灵敏度进行机器遗忘）的算法，以抑制遗忘数据的贡献。实验结果表明，MU-Mis 在很大程度上优于最先进的 MU 方法。此外，MU-Mis 与 MU 的应用更加密切，因为它不需要使用剩余数据。

    Feb, 2024

  • 用记忆法码实现单次机器遗忘

    本文提出了一种称为 one-shot MU 的方法，该方法通过向受不良训练数据敏感的模型参数添加噪声来实现目标，利用 Fisher 信息矩阵评估敏感模型参数，而无需使用训练数据来计算该矩阵，进而用类特定的合成信号，即基于助记符代码来避免需要保留训练数据。通过人工和自然数据集的广泛实验，证明了该方法优于现有方法。

    Jun, 2023

  • 不精确的遗忘需要更谨慎的评估以避免虚假隐私感

    开发用于消除模型训练影响的非学习技术，研究了基于反向学习设置的成员推断攻击 (U-MIA)，发现不同类别的 U-MIA 强度与基于视觉和语言模型的现有非学习技术所提供的隐私保护高度相关，同时揭示了几种非学习算法对不同训练示例的潜在漏洞，以及保护所有示例的困难和试图适应停止条件的失败。

    Mar, 2024

  • 判别对抗解除

    自介绍一个新颖的机器遗忘框架，基于最小 - 最大优化范式的既定原理，并 capitalized on strong Membership Inference Attacks（MIA）的能力来促进从训练模型中遗忘特定样本。

    Feb, 2024

  • 挑战遗忘：揭示机器非遗忘最差情况集合

    机器遗忘 (MU) 是一个重要问题，旨在消除特定数据对模型性能的影响，同时保持模型的实用性。通过从对抗角度进行最坏情况遗忘子集的识别，我们提出了一种新的 MU 评估方法，通过双层优化原则在上层优化级别放大遗忘挑战，在下层进行标准训练和遗忘，实现数据影响擦除和模型实用性之间的平衡。我们的研究揭示了 MU 在实践中的复杂挑战，指导未来更准确、更鲁棒的遗忘算法的发展。

    Mar, 2024

  • 对抗式机器遗忘

    该论文提出了一个游戏理论框架，将成员推理攻击（MIAs）与机器遗忘算法的设计整合在一起，从而以对抗性的方式主动地将攻击纳入算法设计中，利用隐式微分限制攻击者的成功，以实现从模型中遗忘特定的训练数据。

    Jun, 2024

  • 机器遗忘的研究与分类调查

    该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

    May, 2023

  • 朝向自然机器遗忘

    机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。

    May, 2024