ICLRFeb, 2024

无损机器遗忘

PDF
TL;DR我们提出了一种机器遗忘的方法，既无需重训练也无需标记。通过使用基于模型输出的 L2 范数梯度来近似敏感性，我们将 Fisher 信息矩阵的对角线替换为 Selective Synaptic Dampening 算法的扩展。通过在 ResNet18 和 Vision Transformer 上进行一系列实验的评估结果表明，我们的无需标记的方法与现有的最先进方法相竞争。
machine unlearningretraining-free approachlabel-free methodselective synaptic dampening algorithmresnet18 and vision transformer
发现论文，激发创造
  • 通过选择性突触减衰实现快速机器反学习而无需重新训练

    机器遗忘能力对于遵守数据隐私法规以及删除有害、被操控或过时信息变得越来越重要。本研究提出了一种名为选择性突触阻尼（SSD）的新型机器遗忘方法，该方法以快速、高性能的方式进行遗忘，且不需要长期存储训练数据。该方法在一系列实验中与现有的遗忘方法进行了对比，结果显示 SSD 的性能与基于重新训练的后续处理方法相当，证明了重新训练后续遗忘方法的可行性。

    Aug, 2023

  • 无标签遗忘：深度模型的无监督遗忘

    提出无监督学习方法，使用变分方法近似剩余数据的表示分布，并通过对比损失实现与原始模型表示的匹配，以实现深层模型中的遗忘与预测性能保留。

    Mar, 2024

  • 参数调整免费的数据输入错误去学习，自适应选择性突触抽搁

    数据输入作为机器学习流程的基本组成部分，常常会引入标签错误。本文通过引入自适应选择性突触减弱（ASSD）方法，解决了无法确定错误数据的正确标签的数据输入错误情况，并在供应链延迟预测问题中使用真实数据进行了性能验证，表明 ASSD 在一般的非学习任务和错误修正问题上表现出色。

    Feb, 2024

  • 深度消除学习：快速高效的无训练遗忘控制方法

    我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

    Dec, 2023

  • Fisher 屏蔽下的遗忘

    通过使用 Fisher 信息的新掩码策略，在不需要任何微调的情况下，该方法能够几乎完全取消学习，同时保持大部分数据的性能，相对于其他取消学习基准测试还表现出更强的稳定性。

    Oct, 2023

  • 稀疏表示的遗忘

    基于离散表示瓶颈的几乎无计算成本的零样本遗忘技术能有效遗忘忘记集，对数据集余下的部分几乎没有性能损失，并在 CIFAR-10、CIFAR-100 和 LACUNA-100 的三个数据集上进行了评估，与知识蒸馏用于遗忘的先进方法 SCRUB 相比，这种技术表现出与 SCRUB 几乎无计算成本相当甚至更好的性能。

    Nov, 2023

  • 快速而有效的机器遗忘

    本文介绍了一种基于错误最大化噪声生成和损坏修复的权重操作方法的机器遗忘框架，该方法可以高效地针对单个或多个类别的数据从机器学习模型中删除，同时保持模型的高准确性，并且适用于各种深度网络设计，可为深度网络中的遗忘操作提供一种快捷且易于实现的方法。

    Nov, 2021

  • 从自适应查询发布到机器消除学习

    机器遗忘问题中设计高效算法的形式化，包括线性和前缀和查询类的高效遗忘算法以及其在随机凸优化问题和广义线性模型中的应用，提供了不同情况下的遗忘风险和查询复杂度。

    Jul, 2023

  • 金鱼：一种高效的联邦退学框架

    通过引入 Goldfish 框架和采用新的损失函数与知识蒸馏技术，研究提出了一种解决机器遗忘效率和有效性挑战的方法，并通过实验证明了该方法的有效性。

    Apr, 2024

  • 图像到图像生成模型的机器反学习

    提出了机器遗忘在图像生成模型中的普适框架，通过计算高效的算法，能够在保留样本上几乎不影响性能，同时有效地从遗忘样本中删除信息，而且不依赖保留样本的可用性，符合数据保留政策。

    Feb, 2024