Mar, 2024

梯度基于和任务无关的机器去学习 $ abla τ$

PDF
TL;DR在本研究中，我们介绍了一种名为 “梯度优化机器遗忘” 的优化框架，用于有效地消除一部分训练数据对模型的影响，它能够覆盖大部分训练数据集（最多达到 30%），支持不同类型的遗忘任务，并且在无需超参数调整的情况下展现了比重新训练模型更为吸引人的优点。我们使用一系列成熟的成员推理攻击指标对该框架的有效性进行了评估，并实现了与最先进方法相比最多达到 10% 的性能提升，而不降低原始模型的准确性。
machine unlearningdata protection regulationsgradient-based and task-agnostic machine unlearninghyperparameter adjustmentsmembership inference attack
发现论文，激发创造
  • 任务感知的机器遗忘及其在负荷预测中的应用

    该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法，提出了一个性能感知算法来权衡遗忘完整性和性能衰减，并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题，通过模拟验证了遗忘算法在负载预测器上的性能。

    Aug, 2023

  • 一种更实用的机器取消学习方法

    机器学习中的模型撤销能够有效解决数据隐私问题，本研究通过实证评估表明首次梯度上升法在机器学习中的撤销过程更为有效，突出了其在提升数据隐私和符合法规（如 GDPR 和 CCPA）方面的潜力。

    Jun, 2024

  • 朝向自然机器遗忘

    机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。

    May, 2024

  • 随机梯度 Langevin 反学习

    将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响，以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降（SGD）的随机梯度 Langevin 遗忘框架，为凸性假设下的近似遗忘问题提供了带有隐私保证的第一个遗忘方法。我们的研究结果表明，与全批次更新相比，小批次梯度更新提供了更好的隐私 - 复杂性权衡。我们的遗忘方法具有许多算法上的优势，包括与重新训练相比的复杂性节省，以及支持顺序和批次遗忘。为了研究我们方法的隐私 - 效用 - 复杂性权衡，我们在基准数据集上进行了实验，与之前的工作进行了比较。相比于小批次和全批次设置下基于梯度的近似遗忘方法，我们的方法在相同隐私限制条件下使用了 2% 和 10% 的梯度计算，同时达到了类似的效用。

    Mar, 2024

  • 贝叶斯去学习的挑战与陷阱

    本文讨论了机器遗忘、贝叶斯遗忘、拉普拉斯近似和变分推断在神经网络回归任务中的应用及相关启示。

    Jul, 2022

  • 无标签遗忘：深度模型的无监督遗忘

    提出无监督学习方法，使用变分方法近似剩余数据的表示分布，并通过对比损失实现与原始模型表示的匹配，以实现深层模型中的遗忘与预测性能保留。

    Mar, 2024

  • 上下文学习中的不可学习算法

    机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。

    Feb, 2024

  • 机器遗忘中解耦类标签与目标概念

    机器遗忘作为一项新兴的数据管理研究课题，旨在调整经过训练的模型以逼近一个排除了训练数据一部分的重新训练模型。我们提出了一般性的框架，即 TARget-aware Forgetting（TARF），通过对遗忘数据进行退火梯度上升和对难以影响的剩余数据进行选择性梯度下降，使得额外任务能够主动遗忘目标概念而保留其余部分。通过在新引入的设置下进行各种实验，我们证明了 TARF 的有效性。

    Jun, 2024

  • 遗忘而不被遗忘：机器遗忘的改进基准

    机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

    May, 2024

  • 从自适应查询发布到机器消除学习

    机器遗忘问题中设计高效算法的形式化，包括线性和前缀和查询类的高效遗忘算法以及其在随机凸优化问题和广义线性模型中的应用，提供了不同情况下的遗忘风险和查询复杂度。

    Jul, 2023