基于泛化速率和删除容量的认证最小化反学习

Dec, 2023

基于泛化速率和删除容量的认证最小化反学习

Certified Minimax Unlearning with Generalization Rates and Deletion Capacity

Jiaqi Liu, Jian Lou, Zhan Qin, Kui Ren

TL;DR我们研究了 $(\epsilon,\delta)$- 认证的最小化机器取消学习问题，提出了一个基于总 Hessian 完整的 Newton 更新和差分隐私中借用的高斯机制的新算法。我们推导了三种不同损失函数情况下的泛化率，并提供了删除容量来保证所需的总体风险能够保持，只要删除的样本数量不超过导出的数量。

Abstract

We study the problem of $(\epsilon,\delta)$-certified machine unlearning for minimax models. Most of the existing works focus on unlearning from standard statistical learning models that have a single variable and their unlearning steps hinge on the direct Hessian-based conventional Ne

$(\epsilon,\delta)$-certified machine unlearning minimax models total-hessian-based complete newton update gaussian mechanism generalization rates

发现论文，激发创造

从自适应查询发布到机器消除学习

机器遗忘问题中设计高效算法的形式化，包括线性和前缀和查询类的高效遗忘算法以及其在随机凸优化问题和广义线性模型中的应用，提供了不同情况下的遗忘风险和查询复杂度。

Jul, 2023

忘记你想忘记的：机器遗忘算法

本文研究了在已训练好的模型中删除数据点的相关问题，特别是在凸损失的情况下提供了一个算法来取消学习的样本数，与差分隐私学习相比，演示了差分隐私和机器遗忘之间的新颖区别。

Mar, 2021

自然梯度下降实现更快的机器遗忘

我们提出了一种新颖的算法，利用自然梯度下降（NGD）来有效可靠地从采用经验风险最小化（ERM）训练的机器学习模型中删除数据，从而避免从头开始重新训练模型。我们的理论框架为凸模型提供了强大的隐私保证，而针对非凸模型开发了实践中的 Min/Max 优化算法。全面的评估结果显示，与最先进的方法相比，在隐私性、计算效率和泛化性能方面取得了显著改进，推动了机器学习模型反学习的理论和实践方面的发展。

Jul, 2024

随机梯度 Langevin 反学习

将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响，以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降（SGD）的随机梯度 Langevin 遗忘框架，为凸性假设下的近似遗忘问题提供了带有隐私保证的第一个遗忘方法。我们的研究结果表明，与全批次更新相比，小批次梯度更新提供了更好的隐私 - 复杂性权衡。我们的遗忘方法具有许多算法上的优势，包括与重新训练相比的复杂性节省，以及支持顺序和批次遗忘。为了研究我们方法的隐私 - 效用 - 复杂性权衡，我们在基准数据集上进行了实验，与之前的工作进行了比较。相比于小批次和全批次设置下基于梯度的近似遗忘方法，我们的方法在相同隐私限制条件下使用了 2% 和 10% 的梯度计算，同时达到了类似的效用。

Mar, 2024

基于梯度训练的差分隐私和遗忘的证明

基于凸松弛的框架可以计算形式化的保证（证书），以满足特定预测的 ε=0 隐私保证，或者不依赖于可撤销请求的数据。验证为中心的隐私与撤销保证可用于增加用户信任度，提供针对某些成员推理攻击的鲁棒性的形式化证明，确定可能容易受攻击的记录，并增强当前的撤销方法。

Jun, 2024

通过差分隐私实现机器去学习的严格界限

机器遗忘的研究论文，讨论了训练模型对于 “删除容量” 的影响以及利用差分隐私算法实现机器遗忘的可行性，并提供了当中的上下界。

Sep, 2023

高退训比例下的最小梯度相关性机器反学习

Mini-Unlearning 是一种轻量级、可扩展的方法，通过最小的一部分历史梯度以及收缩映射来有效地实现高比例的 machine unlearning，提高模型准确性并增强对隐私攻击的抵抗力。

Jun, 2024

判别对抗解除

自介绍一个新颖的机器遗忘框架，基于最小 - 最大优化范式的既定原理，并 capitalized on strong Membership Inference Attacks（MIA）的能力来促进从训练模型中遗忘特定样本。

Feb, 2024

下降至删除：基于梯度的机器遗忘方法

本文研究了凸模型的数据删除问题，通过利用凸优化和水库取样技术，我们提出了第一个能够处理任意长的对抗性更新序列的数据删除算法，并承诺每次删除的运行时间和稳态误差均不随更新序列的长度而增长。此外，我们还引入了几个新的概念区分。我们可以要求删除后，整个优化算法维护的状态与重新训练应该获得的状态在统计上难以区分，也可以要求仅使可观测输出在统计上难以区分。在这种较弱的删除标准下，我们能够给出更有效的删除算法。

Jul, 2020

兰格万去学习：机器去学习的噪音梯度下降的新视角

基于噪声梯度下降的兰格文反训练为近似反训练问题提供隐私保证，将 DP 学习过程与隐私认证的反训练过程统一，具有多种算法优势，包括非凸问题的近似认证的反训练、与重新训练相比的复杂性节约、用于多个反训练请求的顺序和批量反训练。通过在基准数据集上进行实验验证了兰格文反训练的实用性和隐私 - 效用 - 复杂性的权衡，并展示了其相对于基于梯度下降加输出扰动的近似反训练的优越性。

Jan, 2024