编码的机器遗忘
机器去学习是一项理想的操作,然而实现精确的去学习是具有挑战性或低效的,这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法,并提供了一种算法来选择少量训练样本进行任务适应,最终得出在上下文学习方面比微调方法更有优势的结论。
Feb, 2024
改进机器遗忘,提出图像分类的数据集精简技术和创新性遗忘方案,平衡隐私保护、实用性和效率,并运用于抵御成员推理和模型逆推攻击,并去除精简模型中的数据以快速训练任何模型。
Jan, 2024
提出了一种基于分散隔离和编码计算的可扩展联邦遗忘框架,通过将分布式客户端分为多个隔离片段以减少受影响的客户端数量,并通过压缩不同片段之间的模型参数来减少中央服务器的存储开销,最后,在两个典型的学习任务上进行了广泛实验,表明我们的框架在准确性、重训练时间、存储开销和抵抗成员攻击的 F1 分数方面都优于三种最先进的框架。
Jan, 2024
该研究综述了现有的机器去学习方法,系统地分类并讨论了其差异、联系和开放问题,包括集中式去学习、分布式和不规则数据去学习、去学习验证以及隐私和安全问题,并提出了潜在的研究方向。
May, 2024
机器遗忘是一项关键技术,用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析,并回顾了最新的解决方案,讨论了其优势和限制,并提出了未来的发展方向,以推动机器遗忘作为一项必要的可信和自适应机器学习能力。
Aug, 2023
通过创造一种新的损失函数,将目标分类损失和成员推断损失相结合,用于从神经网络中删除敏感信息的机器遗忘机制,本研究通过成员推断机制作为概念验证,提供了实验证据,证明了我们的遗忘方法在遗忘效果、延迟和主要任务准确性方面的优越性。
Jul, 2024
该调查提供了机器遗忘技术的简明评估,概述了准确和近似方法、可疑攻击和验证方法,并比较了每种方法的优点和局限性,评估了它们的性能,突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题,并指出该领域未来的研究方向,旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。
May, 2023
本文介绍了一种新型条件独立系数 L-CODEC,利用马尔可夫覆盖选择模型参数的子集,通过避免倒置可能很大的矩阵,实现了在深度学习中对特定训练样本进行删除操作的目的。
Apr, 2022
该论文介绍了一种专门设计用于在已经训练好的预测器上移除原始数据集中影响的机器遗忘算法,提出了一个性能感知算法来权衡遗忘完整性和性能衰减,并且还提出了一个任务感知的机器遗忘算法来考虑调度和再调度问题,通过模拟验证了遗忘算法在负载预测器上的性能。
Aug, 2023
提出了机器遗忘在图像生成模型中的普适框架,通过计算高效的算法,能够在保留样本上几乎不影响性能,同时有效地从遗忘样本中删除信息,而且不依赖保留样本的可用性,符合数据保留政策。
Feb, 2024