Jan, 2024

剪刀手：通过连接敏感性在网络中清理数据影响

PDF
TL;DR机器遗忘是一项关键任务，用于消除训练模型的数据影响，遵循最新的数据监管标准，增强机器学习应用的隐私和安全。本研究提出了一种名为 Scissorhands 的新型机器遗忘方法，通过连接敏感性识别与遗忘数据相关的最相关参数，重新初始化这些参数的前 k% 并通过最小最大优化过程重新训练模型，这样可以在只使用有限训练数据的情况下展示与现有方法相比的竞争性能。
machine unlearningdata influenceprivacy and securityscissorhandscompetitive performance
发现论文，激发创造
  • 暗影中的曙光：利用成员推断进行机器去学习

    通过创造一种新的损失函数，将目标分类损失和成员推断损失相结合，用于从神经网络中删除敏感信息的机器遗忘机制，本研究通过成员推断机制作为概念验证，提供了实验证据，证明了我们的遗忘方法在遗忘效果、延迟和主要任务准确性方面的优越性。

    Jul, 2024

  • 基于随机教师网络的机器去学习方法学

    使用随机网络作为教师，可以快速减轻被遗忘数据对模型的影响，实现模型的一次性擦除和重构，并取得与重新训练后模型相同的性能。

    Aug, 2023

  • 边界遗忘

    本研究通过边界移动的方法，提出了一种高效的、可以快速忘记训练数据的机器遗忘技术 ——Boundary Unlearning，成功应用于图像分类和人脸识别等任务，并取得了预期的速度提升。

    Mar, 2023

  • 图形遗忘

    本文提出了一种专门针对图数据的新型机器取消学习框架 GraphEraser，包括两种新颖的图分区算法和一种基于学习的聚合方法。研究表明，与 SISA 相比，GraphEraser 在取消学习效率和模型效用方面都具有较大优势。

    Mar, 2021

  • 机器特征与标签的无关量度探索

    面对分布变化的复杂机器遗忘问题，特别关注非均匀特征和标签删除带来的挑战，本研究提出了一种基于影响函数和分布独立原理的新方法，以解决隐私保护和模型性能之间的平衡，通过在多样分布下维护模型的性能和适应性，确保数据去除的高效性及动态调整模型以保持泛化能力，通过广泛实验验证了方法的有效性，对机器遗忘领域做出了重大贡献。

    Mar, 2024

  • 通过细粒度模型参数扰动进行机器反学习

    机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标 —— 遗忘率和记忆保留率。通过实施这些创新技术和指标，我们在不显著牺牲模型性能的前提下实现了高效的隐私保护，并提供了一种评估遗忘程度的新方法。

    Jan, 2024

  • 纠正机器遗忘

    机器学习模型面对大规模互联网数据集引起的数据完整性挑战，本研究探讨在检测到数据被篡改或错误时模型开发者能够做出的应对措施。我们将 “修正机器遗忘” 定义为解决训练模型中受未知篡改影响数据的问题，尽管只能知道受影响样本的一个小部分。我们发现修正遗忘问题与传统的注重隐私的遗忘方法有显著不同的要求。我们希望我们的工作能促进对修正遗忘方法的研究，为处理来自于大规模网络训练带来的数据完整性挑战的从业者提供新的策略。

    Feb, 2024

  • 任务感知的机器遗忘及其在负荷预测中的应用

    该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法，提出了一个性能感知算法来权衡遗忘完整性和性能衰减，并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题，通过模拟验证了遗忘算法在负载预测器上的性能。

    Aug, 2023

  • 深度网络中的选择性遗忘：无尽的网络阳光

    介绍了一种针对深度神经网络的数据遗忘的方法，通过修改权重，使其不再包含特定的训练数据，并且减小了权重中信息泄漏的可能。

    Nov, 2019

  • 机器取消学习：解决方案与挑战

    机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

    Aug, 2023