- 隐私保护的数据增强与机器遗忘实现的去偏移
我们提出了一种有效的数据增强和机器遗忘的组合方法,可以减少数据偏差并提供对已知攻击的可证明防御。具体而言,我们利用基于扩散的数据增强来维护训练模型的公平性,并利用多分片遗忘来从机器学习模型中删除原始数据的识别信息,以保护隐私免受攻击。通过对 - 可靠的经验式机器去学习评估:博弈论视角
这项研究提出了一种新的、可靠的方法来实证评估机器遗忘算法,为更有效的遗忘技术的发展铺平了道路。
- LMEraser:通过自适应提示调整进行大模型消除
为了满足对机器学习隐私保护的不断增长需求,我们提出了一种名为 LMEraser 的适用于大型模型的新颖高效的机器去学习方法。LMEraser 采用分治策略和提示调整架构来隔离数据影响,并实现训练数据集的适应性分区,从而显著降低去学习成本且保 - 金鱼:一种高效的联邦退学框架
通过引入 Goldfish 框架和采用新的损失函数与知识蒸馏技术,研究提出了一种解决机器遗忘效率和有效性挑战的方法,并通过实验证明了该方法的有效性。
- 通过基于 Hessian-Free 的个体数据统计回忆实现高效的在线遗忘
机器遗忘旨在维护数据所有者的被遗忘权利,通过使模型有选择地忘记特定的数据。我们提出了一种基于 Hessian 的在线遗忘方法,通过计算学习模型和重新训练模型之间差异的仿射随机递归近似,为每个数据点维护一个统计向量,实现了几乎瞬时的在线遗忘, - 传统模型与大型语言模型的机器遗忘:简要调查
通过提供深入探讨机器消遣技术的定义、分类和评价标准,以及不同环境下的挑战和解决方案,本文对传统模型和大型语言模型上的消遣进行分类和研究,提出了评估消遣效果和效率的方法以及性能测量标准。本文揭示了当前消遣技术的局限性,并强调了全面的消遣评估的 - 无标签遗忘:深度模型的无监督遗忘
提出无监督学习方法,使用变分方法近似剩余数据的表示分布,并通过对比损失实现与原始模型表示的匹配,以实现深层模型中的遗忘与预测性能保留。
- 随机梯度 Langevin 反学习
将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响,以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降(SGD)的随机梯度 Langevin 遗忘框架,为凸 - 部分失效的遗忘:基于贝叶斯视角的深度网络类遗忘
这篇研究论文提出了一种名为部分盲目遗忘(PBU)的新方法,通过从预训练的分类网络中有选择地删除与特定数据类别相关的信息,实现对特定数据类别的有意去除,以降低模型对该类别数据的性能影响,且无需了解整个训练数据集,仅需了解未遗忘数据点。
- 数据擦除的前沿:大型语言模型的机器取消学习
大型语言模型开创了人工智能的进展,然而它们可能会危险地记忆和传播敏感、偏见或受版权保护的信息。机器遗忘作为一种尖端解决方案应运而生,针对大型语言模型提供了一种选择性丢弃某些数据的技术,以解决隐私、道德和法律方面的挑战,无需进行完整的模型重新 - 梯度基于和任务无关的机器去学习 $
abla τ$
在本研究中,我们介绍了一种名为 “梯度优化机器遗忘” 的优化框架,用于有效地消除一部分训练数据对模型的影响,它能够覆盖大部分训练数据集(最多达到 30%),支持不同类型的遗忘任务,并且在无需超参数调整的情况下展现了比重新训练模型更为吸引人的 - 机器遗忘中的威胁、攻击与防御:一项综述
机器去学习的关键概念、影响因素和机制的综述,提供对威胁和防御的分类、方法和解决方案的建议,以促进未来研究和实际应用的发展。
- 近似机器遗忘是否得到适当评估?从审计到副作用
通过引入明确定义和有效的度量标准来解决黑箱取消学习审核任务的挑战,该论文分析了当前近似机器取消学习算法的实用性、韧性和公平性,并旨在将数据遗忘的理论权利转化为可审计的现实。
- 机器反学习:分类、度量、应用、挑战与前景
数字个人数据是一项重要的资产,机器遗忘权利要求模型提供者根据用户的请求删除用户数据,机器去学习涉及到中心化和分布式模型下的去学习算法、近似去学习、验证和评估指标、不同应用中的去学习挑战和解决方案、以及针对机器去学习的攻击,期望通过全面调研描 - 分布式知识图谱通过扩散模型实现遗忘
本文提出了 FedDM, 一种面向联邦知识图的模型遗忘的新框架,通过扩散模型生成噪声数据以合理地减轻特定知识对 FL 模型的影响,同时保持其对剩余数据的整体性能,并通过对基准数据集进行实验评估证明 FedDM 在知识遗忘方面具有良好的效果。
- 机器特征与标签的无关量度探索
面对分布变化的复杂机器遗忘问题,特别关注非均匀特征和标签删除带来的挑战,本研究提出了一种基于影响函数和分布独立原理的新方法,以解决隐私保护和模型性能之间的平衡,通过在多样分布下维护模型的性能和适应性,确保数据去除的高效性及动态调整模型以保持 - 挑战遗忘:揭示机器非遗忘最差情况集合
机器遗忘 (MU) 是一个重要问题,旨在消除特定数据对模型性能的影响,同时保持模型的实用性。通过从对抗角度进行最坏情况遗忘子集的识别,我们提出了一种新的 MU 评估方法,通过双层优化原则在上层优化级别放大遗忘挑战,在下层进行标准训练和遗忘, - 通过逐层部分模型遗忘实现的训练模型高效知识删除
该文献介绍了一类新的机器遗忘算法,其中包括部分失忆式遗忘和逐层剪枝。通过详细的实验评估,展示了所提出的遗忘方法的有效性,部分失忆式遗忘不仅保持了模型效果,还消除了简短预训练的必要性,而逐层部分更新在标签翻转和基于优化的遗忘技术中显示了较于其 - SoK:联邦反学习的挑战与机遇
这篇论文从事一项关于联邦消除学习(federated unlearning)的研究,通过对已发表的联邦学习消除(FL unlearning)相关论文的分类和分析,探讨了联邦学习消除领域的研究趋势和挑战,比较了现有联邦学习消除方法的影响消除和 - 语言模型解构:通过选择性修剪实现机器遗忘
该研究论文介绍了一种专为大型语言模型(LLMs)设计的机器遗忘方法。通过选择性修剪 LLMs 的方法,根据其相对于整体网络性能对目标能力的重要性,移除能够实现特定行为的神经元。研究发现在 LLMs 中,前馈神经元和注意神经元都是专门用于特定