知识蒸馏下的图网络遗忘

Sep, 2023

Distill to Delete: Unlearning in Graph Networks with Knowledge Distillation

Yash Sinha, Murari Mandal, Mohan Kankanhalli

TL;DR知识蒸馏在图取消学习领域具有重要作用，D2DGN 是一种模型不可知的蒸馏框架，通过使用响应为基础的软目标和基于特征的节点嵌入，最小化 KL 散度，有效消除已删除图元素的影响同时保留有关保留图元素的知识。实验证明，在各种真实世界图数据集上，D2DGN 在边和节点取消学习任务中的 AUC 性能比现有方法提高了高达 43.1％（AUC）。

Abstract

graph unlearning has emerged as a pivotal method to delete information from a pre-trained graph neural network (GNN). One may delete nodes, a class of nodes, edges, or a class of edges. An unlearning method enabl

graph unlearning graph neural network knowledge distillation d2dgn data protection regulations

发现论文，激发创造

GNNDelete：图神经网络中的遗忘通用策略

本研究提出了一种名为 GNNDelete 的新型模型级层操作符，它优化了图形撤销的关键性质，确保了已学习到的知识在删除节点和边缘的同时保留，并在七个真实世界的图表上展示了优于现有方法的性能提升高达 38.8%（AUC）的结果。

Feb, 2023

断链以去学：简化 GNN 中的边缘去学习

随着对数据隐私的关注加剧，图神经网络中的遗忘概念成为学术界一个重要的研究前沿，在用户请求下，遗忘概念可以强制从经过训练的图神经网络中有选择地删除特定数据。我们的研究专注于边的遗忘，这一过程在现实世界应用中具有广泛适用性。然而，我们的研究发现当前最先进的方法存在一个关键限制，被称为过度遗忘，即遗忘过程在去除特定数据之外错误地移除了过多信息，从而显著降低了剩余边的预测准确性。为了解决这个问题，我们确定了 GNNDelete 的损失函数作为过度遗忘现象的主要原因，并且我们的分析也表明，损失函数对于有效的边的遗忘可能不是必要的。基于这些认识，我们简化了 GNNDelete 方法，开发出一种名为 UtU 的新方法，它通过对图结构中的忘记边进行断开来方便遗忘。我们进行了大量实验证明，与重新训练模型相比，UtU 在提供隐私保护的同时保持了高准确性。具体而言，UtU 保留了超过 97.3% 的重新训练模型的隐私保护能力和 99.8% 的链接预测准确性。同时，UtU 仅需要恒定的计算需求，凸显了其作为一种轻量且实用的边的遗忘解决方案的优势。

Feb, 2024

认证图形遗忘

本文提出了第一个已知的图形神经网络认证卸载框架，涉及节点、边缘和节点特征等三种不同类型的卸载请求，致力于在保证性能的情况下解决基准数据集中的复杂卸载问题并优于不利用图形信息的卸载方法。

Jun, 2022

自蒸馏图神经网络

本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

Nov, 2020

一种双重自蒸馏的无教师图知识蒸馏框架

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

归纳图遗忘

该研究提出了一种在归纳图学习任务中高效实现的、适用于动态图的图表征删除框架 GUIDE，它由三个组件组成：具有公平性和平衡性的引导图分区，高效的子图修复以及基于相似性的聚合。

Apr, 2023

梯度转化：面向动态图神经网络的高效和模型无关的遗忘

我们提出了一种有效、高效、模型无关的后处理方法来实现动态图神经网络的去学习，通过定义去学习请求并在连续时间动态图的背景下形成动态图的去学习，通过对去学习数据、剩余数据和目标动态图神经网络模型进行角色分析，我们提出了一种称为梯度变换和损失函数的方法，将去学习请求映射到所需的参数更新。我们在六个真实世界数据集和最先进的动态图神经网络骨干上进行评估，证明了其效果（例如，性能下降有限，甚至明显改进），效率（例如，最多 7.23 倍加速）和处理未来去学习请求的潜在优势（例如，最多 32.59 倍加速）。

May, 2024

无图知识蒸馏用于图神经网络

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

图神经网络的零数据对抗知识蒸馏

本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

May, 2022

FreeKD: 面向图神经网络的自由方向知识蒸馏

本文提出了新的结构，在强化学习环境中构建了两个较浅的图神经网络来协作交换知识，以解决原本难以训练的深度图神经网络知识蒸馏问题，实验结果证明其优于基础图神经网络和其他传统知识蒸馏算法。

Jun, 2022