Dec, 2023

FAST：黑盒生成模型中的特征感知相似性阈值法进行弱去学习

PDF
TL;DR该研究的主要目标是阐明过滤和遗忘过程之间的关系，并制定一种方法来减少黑盒系统中产生的不良输出。我们提出的 FAST 方法通过在潜在空间中系统地编码不需要的特征的表示来有效抑制不良输出。
deep generative modelsmachine unlearningblack-box systemsfilteringfeature aware similarity thresholding
发现论文，激发创造
  • 深度消除学习：快速高效的无训练遗忘控制方法

    我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

    Dec, 2023

  • 快速 - NTK：大规模模型的参数高效不再学习

    快速神经切线内核（Fast-NTK）是一种新颖的基于神经切线内核的忘记学习算法，通过引入参数高效的微调方法，显著降低了计算复杂性，实现了在大规模模型和数据集上的可扩展性，可在深度神经网络中实现实用且可扩展的忘记学习。

    Dec, 2023

  • 快速模型去偏置与机器遗忘

    最近的研究发现，深度神经网络在许多实际场景中可能表现出偏见。本研究提出了一种快速模型去偏方法（FMD），该方法通过显式的反事实概念识别偏见属性，并使用影响函数量化数据样本的影响，进而设计了一种基于机器遗忘的策略来高效有效地消除模型中的偏见。实验证明，与现有先进方法相比，我们的方法在达到更高或相当的准确性的同时，具有更少的偏见和更低的去偏成本要求。

    Oct, 2023

  • 部分失效的遗忘：基于贝叶斯视角的深度网络类遗忘

    这篇研究论文提出了一种名为部分盲目遗忘（PBU）的新方法，通过从预训练的分类网络中有选择地删除与特定数据类别相关的信息，实现对特定数据类别的有意去除，以降低模型对该类别数据的性能影响，且无需了解整个训练数据集，仅需了解未遗忘数据点。

    Mar, 2024

  • 非非学习：在先进生成型人工智能中，非学习不足以进行内容监管

    该论文讨论了在大型语言模型中使用取消学习作为一种控制机制，并发现取消学习在训练阶段是有效的，但无法阻止模型在推断过程中出现不合规的行为，因此对于有效的内容规范，需要进行内容过滤以及引入取消取消学习的概念来解决问题。

    Jun, 2024

  • 图像到图像生成模型的机器反学习

    提出了机器遗忘在图像生成模型中的普适框架，通过计算高效的算法，能够在保留样本上几乎不影响性能，同时有效地从遗忘样本中删除信息，而且不依赖保留样本的可用性，符合数据保留政策。

    Feb, 2024

  • 快速而有效的机器遗忘

    本文介绍了一种基于错误最大化噪声生成和损坏修复的权重操作方法的机器遗忘框架，该方法可以高效地针对单个或多个类别的数据从机器学习模型中删除，同时保持模型的高准确性，并且适用于各种深度网络设计，可为深度网络中的遗忘操作提供一种快捷且易于实现的方法。

    Nov, 2021

  • 任务感知的机器遗忘及其在负荷预测中的应用

    该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法，提出了一个性能感知算法来权衡遗忘完整性和性能衰减，并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题，通过模拟验证了遗忘算法在负载预测器上的性能。

    Aug, 2023

  • 通过选择性突触减衰实现快速机器反学习而无需重新训练

    机器遗忘能力对于遵守数据隐私法规以及删除有害、被操控或过时信息变得越来越重要。本研究提出了一种名为选择性突触阻尼（SSD）的新型机器遗忘方法，该方法以快速、高性能的方式进行遗忘，且不需要长期存储训练数据。该方法在一系列实验中与现有的遗忘方法进行了对比，结果显示 SSD 的性能与基于重新训练的后续处理方法相当，证明了重新训练后续遗忘方法的可行性。

    Aug, 2023

  • 通过细粒度模型参数扰动进行机器反学习

    机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标 —— 遗忘率和记忆保留率。通过实施这些创新技术和指标，我们在不显著牺牲模型性能的前提下实现了高效的隐私保护，并提供了一种评估遗忘程度的新方法。

    Jan, 2024