Nov, 2023

DeepClean: 通过重置隐私敏感权重使用 Fisher 对角线的低成本机器遗忘

PDF
TL;DR我们提出了一种轻量级的遗忘算法，利用费舍尔信息矩阵（FIM）进行选择性遗忘，通过计算 FIM 的对角元素以实现全面遗忘，同时最大程度减少对保留数据的影响，从而提供了可解释性、轻量级和高效的解决方案，可有效保护隐私并可应用于各种神经网络架构。
发现论文，激发创造
  • 无损机器遗忘

    我们提出了一种机器遗忘的方法，既无需重训练也无需标记。通过使用基于模型输出的 L2 范数梯度来近似敏感性，我们将 Fisher 信息矩阵的对角线替换为 Selective Synaptic Dampening 算法的扩展。通过在 ResNet18 和 Vision Transformer 上进行一系列实验的评估结果表明，我们的无需标记的方法与现有的最先进方法相竞争。

    Feb, 2024

  • 通过细粒度模型参数扰动进行机器反学习

    机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标 —— 遗忘率和记忆保留率。通过实施这些创新技术和指标，我们在不显著牺牲模型性能的前提下实现了高效的隐私保护，并提供了一种评估遗忘程度的新方法。

    Jan, 2024

  • 公平的机器遗忘：数据去除与减轻偏差

    在本研究中，我们提出了第一个可以证明并高效地消除数据实例并保持公平性的机器遗忘方法。通过理论结果和对真实世界数据集的广泛实验，我们展示了我们的方法在消除数据实例的同时保持公平性的功效。

    Jul, 2023

  • 深度网络中的选择性遗忘：无尽的网络阳光

    介绍了一种针对深度神经网络的数据遗忘的方法，通过修改权重，使其不再包含特定的训练数据，并且减小了权重中信息泄漏的可能。

    Nov, 2019

  • Fisher 屏蔽下的遗忘

    通过使用 Fisher 信息的新掩码策略，在不需要任何微调的情况下，该方法能够几乎完全取消学习，同时保持大部分数据的性能，相对于其他取消学习基准测试还表现出更强的稳定性。

    Oct, 2023

  • 快速而有效的机器遗忘

    本文介绍了一种基于错误最大化噪声生成和损坏修复的权重操作方法的机器遗忘框架，该方法可以高效地针对单个或多个类别的数据从机器学习模型中删除，同时保持模型的高准确性，并且适用于各种深度网络设计，可为深度网络中的遗忘操作提供一种快捷且易于实现的方法。

    Nov, 2021

  • 通过选择性突触减衰实现快速机器反学习而无需重新训练

    机器遗忘能力对于遵守数据隐私法规以及删除有害、被操控或过时信息变得越来越重要。本研究提出了一种名为选择性突触阻尼（SSD）的新型机器遗忘方法，该方法以快速、高性能的方式进行遗忘，且不需要长期存储训练数据。该方法在一系列实验中与现有的遗忘方法进行了对比，结果显示 SSD 的性能与基于重新训练的后续处理方法相当，证明了重新训练后续遗忘方法的可行性。

    Aug, 2023

  • 基于投影残差的机器遗忘方法

    该论文采用基于牛顿迭代方法的投影残差方法，旨在实现线性回归模型和神经网络模型的机器消遗任务。该方法主要使用迭代加权方法，完全忘记数据及其对应的影响，其计算成本与数据特征维度线性相关，并独立于训练集的大小。实验结果表明，该方法较近于模型重新训练，更彻底地删除数据。

    Sep, 2022

  • 深度消除学习：快速高效的无训练遗忘控制方法

    我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

    Dec, 2023

  • 旋转您的网络：更好的权重合并和更少的灾难性遗忘

    通过重新参数化神经网络中的 Fisher 信息矩阵，结合 Elastic Weight Consolidation 技术，实现解决序列任务学习中的灾难性遗忘问题，并在 MNIST、CIFAR-100、CUB-200 和 Stanford-40 数据集上进行实验证明，我们的方法明显改善了标准 Elastic Weight Consolidation 的结果，在不遗忘的连续任务学习中达到了同等竞争水平。

    Feb, 2018