ECCVOct, 2022

使用少量样本在预训练模型中实现类级遗忘

PDF
TL;DR我们提出一种新方法，以解决隐私 / 伦理问题所限制的数据集和类别的深度学习模型训练问题。该方法可以通过识别与受限类别高度相关的模型参数并使用有限的可用训练数据从中删除有关受限类别的知识，而不会影响模型对其它类别的预测能力。该方法具有显著的速度优势，并且性能与在完整数据上重新训练的模型相似。
deep learningmodel trainingprivacyethicsdata limitations
发现论文，激发创造
  • 深度网络中的混合隐私遗忘

    本篇文章提出了一种遗忘技术，可以在大规模视觉分类任务中从网络训练的权重中移除一部分训练样本的影响，同时在混合隐私设置中保留核心样本的信息，采用合适的线性逼近替换标准深度网络可以实现相当的精度且达到最前沿的效果。

    Dec, 2020

  • 深度网络比样本更细粒度的选择性遗忘

    本文针对深度神经网络中可能被攻击者篡改、包含敏感信息的数据进行了选择性遗忘的研究，提出了一种基于优化方法对遗忘过程进行控制的方法，并通过实验结果验证了其有效性。

    Dec, 2020

  • 文档分类的机器去学习

    研究论述了文档理解模型在用户文档集合的基础上取得的显著性能，介绍了机器遗忘的新方法，探索了将其应用于文档分类问题以解决隐私问题，并提供了公开可用的代码。

    Apr, 2024

  • 深度消除学习：快速高效的无训练遗忘控制方法

    我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

    Dec, 2023

  • 部分失效的遗忘：基于贝叶斯视角的深度网络类遗忘

    这篇研究论文提出了一种名为部分盲目遗忘（PBU）的新方法，通过从预训练的分类网络中有选择地删除与特定数据类别相关的信息，实现对特定数据类别的有意去除，以降低模型对该类别数据的性能影响，且无需了解整个训练数据集，仅需了解未遗忘数据点。

    Mar, 2024

  • 边界遗忘

    本研究通过边界移动的方法，提出了一种高效的、可以快速忘记训练数据的机器遗忘技术 ——Boundary Unlearning，成功应用于图像分类和人脸识别等任务，并取得了预期的速度提升。

    Mar, 2023

  • 遗忘您想遗忘的内容：针对 LLMs 的高效遗忘方法

    提出了一种高效的取消学习框架，通过引入轻量级的取消学习层并与 transformers 结合，可以在不对整个模型重新训练的情况下有效地更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明，与现有技术相比，我们提出的方法在分类和生成任务上的有效性得到了验证。

    Oct, 2023

  • 零样本机器遗忘

    本論文提出了一個名為 Zero-shot 機器學習的新問題，探討如何從 MOD 交易所中刪除特定集合或類別的數據，介紹一種基於誤差最小化最大化噪音和門控知識傳遞的解決方案，實驗結果在基準視覺數據集上展示了良好的效果。

    Jan, 2022

  • 数据丢弃：优化卷积神经网络的训练数据

    本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

    Sep, 2018

  • 通过离开一个样本集合在语言模型中遗忘私密文本序列

    利用教师 - 学生框架和新的留一出集成方法，我们在语言模型中删除个人信息，在隐私与实用性之间实现卓越的平衡。

    Sep, 2023