适应后遗忘:利用参数空间语义在生成对抗网络中进行遗忘
通过引入替代机制和定义虚假标签,本研究提出了一种级联取消学习方法,以在生成对抗网络中实现项目取消学习和类别取消学习,通过对 MNIST 和 CIFAR-10 数据集的综合评估,实验证明该方法在项目和类别取消学习效率方面显著提高,与从头开始重新训练相比,所需时间分别减少了最多 185 倍和 284 倍,值得注意的是,虽然模型的性能在取消学习后有轻微下降,但在处理少量图像(例如 64 张)时,该下降是可以忽略的,并且对分类等下游任务没有不良影响。
Aug, 2023
通过操纵梯度并将其投影到被保留梯度的法向平面上,我们提出了一种简单但有效的方法来移除深度生成模型中数据的影响。我们的方法不受移除样本统计的限制,在去学习生成模型方面优于现有基线,并首次提供了理论分析。
Jul, 2023
提出了机器遗忘在图像生成模型中的普适框架,通过计算高效的算法,能够在保留样本上几乎不影响性能,同时有效地从遗忘样本中删除信息,而且不依赖保留样本的可用性,符合数据保留政策。
Feb, 2024
我们提出了一种新的类别遗忘算法,通过估计待保留和遗忘类别的特征或激活空间,并计算这些空间之间的共享信息,从而实现有效的机器遗忘,并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高,且计算效率提高了约 6 倍。
Dec, 2023
通过攻击和屏蔽网络参数中的特定信息,我们提出了一种名为 ARU 的新方法,该方法使用精心设计的对抗性噪声生成参数屏蔽,有效地重置某些参数,使其无法再进行学习。通过利用对抗性噪声来制作屏蔽,我们在两个面部机器遗忘基准数据集 MUFAC 和 MUCAC 上取得了超越当前最先进结果的表现。我们的研究在通过参数重新初始化实现使数据无法被深度学习模型利用方面取得了重大进展。
Jan, 2024
本文研究如何扩展 GAN 模型可达到的视觉效果,通过在生成器参数空间中探索方向,发现了许多可解释性方向,这是非常重要的,因为这些方向可以用于语义操作,这些操作无法通过转换潜在的向量代码实现。
Nov, 2020
最近的数据隐私法引起了对机器去学习的兴趣,机器去学习涉及从学习模型中删除特定训练样本的影响,就像这些样本从未出现在原始训练数据集中一样,这个挑战在于在学习模型中丢弃关于 “遗忘” 数据的信息,同时不改变对剩余数据集的知识,并且比起重新训练的方法更高效,为了实现这一点,我们采用了一种基于投影梯度的学习方法,即投影梯度去学习(PGU),在这种方法中,模型在与被认为是对保留的数据集不重要的梯度子空间相对正交的方向上迈出步伐,以便保留其知识。通过利用随机梯度下降(SGD)来更新模型权重,我们的方法可以高效地适用于任何模型和数据集大小。我们提供实证证据表明,即使无法访问训练数据集,我们的去学习方法产生的模型在各种度量指标上表现与从头开始重新训练的模型类似。我们的代码可在此 https URL 中找到。
Dec, 2023
本文提出了一种名为 TESGAN 的框架,使用连续文本嵌入空间而非离散标记以解决梯度反向传播的问题,通过无监督学习来克服数据记忆问题,从而能够合成具有潜力的新句子。
Jun, 2023
本文提出了一种基于生成对抗网络的方法,通过在像素空间中学习一种转换方法,将源域图像适应为与目标域相同的样子,以解决渲染图像训练模型泛化性不强的问题。该方法不仅可以生成逼真的样本,而且在许多无监督域适应场景中均优于现有技术,并证明了适应过程对于训练期间未被观察到的物体类别的泛化性。
Dec, 2016
我们提出了一种基于对抗攻击的评估框架,用于评估安全驱动的模型在消除不需要的概念、风格和对象方面的鲁棒性,证明了我们的方法在与最先进的对抗提示方法进行对比时的效果和效率。
Oct, 2023