通过逐层部分模型遗忘实现的训练模型高效知识删除
该研究提出了一种在机器学习中,通过层攻击遗忘和知识蒸馏来解决训练集中的个人数据隐私问题的快速机器遗忘范式,通过大量实验证明了该方法在准确性和全链路遗忘性能上的有效性。
Dec, 2023
机器遗忘是一项关键技术,用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析,并回顾了最新的解决方案,讨论了其优势和限制,并提出了未来的发展方向,以推动机器遗忘作为一项必要的可信和自适应机器学习能力。
Aug, 2023
提出了一种高效的取消学习框架,通过引入轻量级的取消学习层并与 transformers 结合,可以在不对整个模型重新训练的情况下有效地更新大型语言模型,以解决用户数据隐私与数据保护法规的问题。实验证明,与现有技术相比,我们提出的方法在分类和生成任务上的有效性得到了验证。
Oct, 2023
该调查提供了机器遗忘技术的简明评估,概述了准确和近似方法、可疑攻击和验证方法,并比较了每种方法的优点和局限性,评估了它们的性能,突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题,并指出该领域未来的研究方向,旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。
May, 2023
机器学习模型存在安全漏洞,包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求,通过有效更新已训练模型的机器遗忘算法,以维持模型性能,避免重新训练模型的代价。本文提出了替代性的算法评估方法,通过针对图像识别数据集的实验,对当前机器遗忘算法进行更详细的评估,展示了该领域的最新状况。
May, 2024
该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法,提出了一个性能感知算法来权衡遗忘完整性和性能衰减,并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题,通过模拟验证了遗忘算法在负载预测器上的性能。
Aug, 2023
大型语言模型开创了人工智能的进展,然而它们可能会危险地记忆和传播敏感、偏见或受版权保护的信息。机器遗忘作为一种尖端解决方案应运而生,针对大型语言模型提供了一种选择性丢弃某些数据的技术,以解决隐私、道德和法律方面的挑战,无需进行完整的模型重新训练。本文回顾了关于大型语言模型的机器遗忘的最新研究,介绍了针对文本数据和分类数据的遗忘方法,并展示了这些方法在删除特定数据的同时保持模型高效性的有效性。本文还强调了机器遗忘的实用性,指出了保持模型完整性、避免过度或不足的数据删除以及确保一致的输出等问题,突出了机器遗忘在推动负责任、道德的人工智能方面的作用。
Mar, 2024
机器学习中的模型撤销能够有效解决数据隐私问题,本研究通过实证评估表明首次梯度上升法在机器学习中的撤销过程更为有效,突出了其在提升数据隐私和符合法规(如 GDPR 和 CCPA)方面的潜力。
Jun, 2024
通过 Fine-tuning 模型引入伪实体从而在 Entity-level unlearning 任务中评估当前的 unlearning 算法是否能达到有效的结果,并发现伪实体注入比预训练的实体更容易被删除,强调了需要更系统的伪实体注入方法以接近预训练的知识。
Jun, 2024
本研究论文提出了一种创新的方法,针对多语言语言模型的机器遗忘,通过选择性地擦除不同语言中的信息,同时保持总体性能,有效解决了低资源语言攻击的问题,为安全可适应的多语言语言模型设定了新的标准。
Jun, 2024