通过投影高效忘记在图表示学习中所学的知识
本文提出了第一个已知的图形神经网络认证卸载框架,涉及节点、边缘和节点特征等三种不同类型的卸载请求,致力于在保证性能的情况下解决基准数据集中的复杂卸载问题并优于不利用图形信息的卸载方法。
Jun, 2022
该论文采用基于牛顿迭代方法的投影残差方法,旨在实现线性回归模型和神经网络模型的机器消遗任务。该方法主要使用迭代加权方法,完全忘记数据及其对应的影响,其计算成本与数据特征维度线性相关,并独立于训练集的大小。实验结果表明,该方法较近于模型重新训练,更彻底地删除数据。
Sep, 2022
随着对数据隐私的关注加剧,图神经网络中的遗忘概念成为学术界一个重要的研究前沿,在用户请求下,遗忘概念可以强制从经过训练的图神经网络中有选择地删除特定数据。我们的研究专注于边的遗忘,这一过程在现实世界应用中具有广泛适用性。然而,我们的研究发现当前最先进的方法存在一个关键限制,被称为过度遗忘,即遗忘过程在去除特定数据之外错误地移除了过多信息,从而显著降低了剩余边的预测准确性。为了解决这个问题,我们确定了 GNNDelete 的损失函数作为过度遗忘现象的主要原因,并且我们的分析也表明,损失函数对于有效的边的遗忘可能不是必要的。基于这些认识,我们简化了 GNNDelete 方法,开发出一种名为 UtU 的新方法,它通过对图结构中的忘记边进行断开来方便遗忘。我们进行了大量实验证明,与重新训练模型相比,UtU 在提供隐私保护的同时保持了高准确性。具体而言,UtU 保留了超过 97.3% 的重新训练模型的隐私保护能力和 99.8% 的链接预测准确性。同时,UtU 仅需要恒定的计算需求,凸显了其作为一种轻量且实用的边的遗忘解决方案的优势。
Feb, 2024
最近的数据隐私法引起了对机器去学习的兴趣,机器去学习涉及从学习模型中删除特定训练样本的影响,就像这些样本从未出现在原始训练数据集中一样,这个挑战在于在学习模型中丢弃关于 “遗忘” 数据的信息,同时不改变对剩余数据集的知识,并且比起重新训练的方法更高效,为了实现这一点,我们采用了一种基于投影梯度的学习方法,即投影梯度去学习(PGU),在这种方法中,模型在与被认为是对保留的数据集不重要的梯度子空间相对正交的方向上迈出步伐,以便保留其知识。通过利用随机梯度下降(SGD)来更新模型权重,我们的方法可以高效地适用于任何模型和数据集大小。我们提供实证证据表明,即使无法访问训练数据集,我们的去学习方法产生的模型在各种度量指标上表现与从头开始重新训练的模型类似。我们的代码可在此 https URL 中找到。
Dec, 2023
通过系统地回顾图解学习的方法,本综述论文旨在增进对新加入该领域的研究人员的理解,与差分隐私建立关联,探索其在不同领域的应用,以增强数据隐私和增强人工智能系统的鲁棒性,并鼓励进一步研究和创新,从而推动图解学习领域的发展。
Aug, 2023
本研究提出了一种名为 GNNDelete 的新型模型级层操作符,它优化了图形撤销的关键性质,确保了已学习到的知识在删除节点和边缘的同时保留,并在七个真实世界的图表上展示了优于现有方法的性能提升高达 38.8%(AUC)的结果。
Feb, 2023
提出了一种高效的取消学习框架,通过引入轻量级的取消学习层并与 transformers 结合,可以在不对整个模型重新训练的情况下有效地更新大型语言模型,以解决用户数据隐私与数据保护法规的问题。实验证明,与现有技术相比,我们提出的方法在分类和生成任务上的有效性得到了验证。
Oct, 2023
该研究提出了一种在归纳图学习任务中高效实现的、适用于动态图的图表征删除框架 GUIDE,它由三个组件组成:具有公平性和平衡性的引导图分区,高效的子图修复以及基于相似性的聚合。
Apr, 2023
通过操纵梯度并将其投影到被保留梯度的法向平面上,我们提出了一种简单但有效的方法来移除深度生成模型中数据的影响。我们的方法不受移除样本统计的限制,在去学习生成模型方面优于现有基线,并首次提供了理论分析。
Jul, 2023