Apr, 2024

通过基于Hessian-Free的个体数据统计回忆实现高效的在线遗忘

HTML
PDF
TL;DR机器遗忘旨在维护数据所有者的被遗忘权利，通过使模型有选择地忘记特定的数据。我们提出了一种基于Hessian的在线遗忘方法，通过计算学习模型和重新训练模型之间差异的仿射随机递归近似，为每个数据点维护一个统计向量，实现了几乎瞬时的在线遗忘，只需进行向量相加操作。基于重新收集遗忘数据的统计信息的策略，所提出的方法显著减少了遗忘运行时间。实验研究表明，所提出的方案在时间和内存成本方面的性能超过了现有结果，同时提高了准确性。
发现论文，激发创造
  • 忘记你想忘记的：机器遗忘算法

    本文研究了在已训练好的模型中删除数据点的相关问题，特别是在凸损失的情况下提供了一个算法来取消学习的样本数，与差分隐私学习相比，演示了差分隐私和机器遗忘之间的新颖区别。

    Mar, 2021

  • 快速而有效的机器遗忘

    本文介绍了一种基于错误最大化噪声生成和损坏修复的权重操作方法的机器遗忘框架，该方法可以高效地针对单个或多个类别的数据从机器学习模型中删除，同时保持模型的高准确性，并且适用于各种深度网络设计，可为深度网络中的遗忘操作提供一种快捷且易于实现的方法。

    Nov, 2021

  • 通过选择性突触减衰实现快速机器反学习而无需重新训练

    机器遗忘能力对于遵守数据隐私法规以及删除有害、被操控或过时信息变得越来越重要。本研究提出了一种名为选择性突触阻尼（SSD）的新型机器遗忘方法，该方法以快速、高性能的方式进行遗忘，且不需要长期存储训练数据。该方法在一系列实验中与现有的遗忘方法进行了对比，结果显示SSD的性能与基于重新训练的后续处理方法相当，证明了重新训练后续遗忘方法的可行性。

    Aug, 2023

  • 基于随机教师网络的机器去学习方法学

    使用随机网络作为教师，可以快速减轻被遗忘数据对模型的影响，实现模型的一次性擦除和重构，并取得与重新训练后模型相同的性能。

    Aug, 2023

  • 挑战遗忘：揭示机器非遗忘最差情况集合

    机器遗忘(MU)是一个重要问题，旨在消除特定数据对模型性能的影响，同时保持模型的实用性。通过从对抗角度进行最坏情况遗忘子集的识别，我们提出了一种新的MU评估方法，通过双层优化原则在上层优化级别放大遗忘挑战，在下层进行标准训练和遗忘，实现数据影响擦除和模型实用性之间的平衡。我们的研究揭示了MU在实践中的复杂挑战，指导未来更准确、更鲁棒的遗忘算法的发展。

    Mar, 2024

  • 梯度基于和任务无关的机器去学习$ abla τ$

    在本研究中，我们介绍了一种名为“梯度优化机器遗忘”的优化框架，用于有效地消除一部分训练数据对模型的影响，它能够覆盖大部分训练数据集（最多达到30%），支持不同类型的遗忘任务，并且在无需超参数调整的情况下展现了比重新训练模型更为吸引人的优点。我们使用一系列成熟的成员推理攻击指标对该框架的有效性进行了评估，并实现了与最先进方法相比最多达到10%的性能提升，而不降低原始模型的准确性。

    Mar, 2024

  • 无标签遗忘: 深度模型的无监督遗忘

    提出无监督学习方法，使用变分方法近似剩余数据的表示分布，并通过对比损失实现与原始模型表示的匹配，以实现深层模型中的遗忘与预测性能保留。

    Mar, 2024

  • 关于牛顿法用于取消神经网络的研究

    机器去学习的研究，通过开发算法来近似去学习神经网络以增加个人数据拥有权，特别是``被遗忘的权利''。研究发现采用改进的三次正则化牛顿法在序列去学习中相比基准方法更具抗性和优越性。

    Jun, 2024

  • 单层单梯度遗忘

    我们提出了一种高效的方法，只需要一次梯度计算，仅修改模型参数的单个层，以可控的方式同时取消学习多个概念，证明了该方法在包括CLIP、稳定扩散和VLMs在内的各种模型上的有效性和高效性。

    Jul, 2024

  • 统一的基于梯度的机器遗忘与剩余几何增强

    该研究解决了现有机器遗忘方法在大规模模型中效率低下的问题，提出了一种通过嵌入剩余几何的方式来优化遗忘更新的新方法。研究结果表明，该方法能够在不影响保留性能的情况下，显著提升遗忘效率，在ImageNet和CIFAR-10等数据集上验证了其有效性。

    Sep, 2024