图神经网络的零数据对抗知识蒸馏

IJCAIMay, 2022

图神经网络的零数据对抗知识蒸馏

Data-Free Adversarial Knowledge Distillation for Graph Neural Networks

Yuanxin Zhuang, Lingjuan Lyu, Chuan Shi, Carl Yang, Lichao Sun

TL;DR本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

Abstract

Graph neural networks (GNNs) have been widely used in modeling graph structured data, owing to its impressive performance in a wide range of practical applications. Recently, knowledge distillation (KD) for GNNs has enabled remarkable progress in graph model compression and knowledge t

graph neural network knowledge distillation generative adversarial network data-free adversarial knowledge distillation graph classification

发现论文，激发创造

通过对抗知识蒸馏压缩深度图神经网络

本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

May, 2022

无图知识蒸馏用于图神经网络

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

FreeKD: 面向图神经网络的自由方向知识蒸馏

本文提出了新的结构，在强化学习环境中构建了两个较浅的图神经网络来协作交换知识，以解决原本难以训练的深度图神经网络知识蒸馏问题，实验结果证明其优于基础图神经网络和其他传统知识蒸馏算法。

Jun, 2022

图神经网络的在线对抗蒸馏

本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

Dec, 2021

自蒸馏图神经网络

本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

Nov, 2020

基于自由方向知识蒸馏的图神经网络共同增长

该论文提出了一种名为 FreeKD 的图神经网络知识蒸馏框架，通过强化学习以一种自由的方式互相交换知识，无需提供深度优化的教师 GNN，可以达到比传统 KD 算法更好的性能。

Jul, 2023

数据无关模型压缩的双判别器对抗蒸馏

提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

Apr, 2021

无数据对抗蒸馏

该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

Dec, 2019

无框图知识蒸馏

本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

Jul, 2023

一种双重自蒸馏的无教师图知识蒸馏框架

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024