从图卷积网络中提炼知识

CVPRMar, 2020

Distilling Knowledge from Graph Convolutional Networks

Yiding Yang, Jiayan Qiu, Mingli Song, Dacheng Tao, Xinchao Wang

TL;DR本文提出了一种新颖的知识蒸馏方法，主要应用于非网格结构的数据，如图形结构数据。该方法采用了一种本地结构维护模块，从教师网络和学生网络中提取局部结构信息作为分布，最小化这些分布之间的距离，实现了拥有拓扑感知能力的知识传递，得到了一个更加轻量级但性能优异的学生网络。本文同时还将该方法应用于动态图模型，获得了在两个不同数据集上 GCN 模型的最新知识蒸馏性能。

Abstract

Existing knowledge distillation methods focus on convolutional neural networks (CNNs), where the input samples like images lie in a grid domain, and have largely overlooked graph convolutional networks (GCN) that

knowledge distillation graph convolutional networks topology-aware knowledge transfer local structure preserving module state-of-the-art performance

发现论文，激发创造

无图知识蒸馏用于图神经网络

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

Mar, 2021

图神经网络的在线对抗蒸馏

本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

Dec, 2021

几何知识蒸馏：图神经网络拓扑压缩

本文探讨了一种新的知识传递范式，旨在通过从在完全图上训练的教师 GNN 模型到在更小或更稀疏的图上操作的学生 GNN 模型提炼知识来将图拓扑信息编码到图神经网络（GNNs）中。作者提出了神经热核（NHK）并得到了一种基于 NHKs 对齐的基础和原则性解决方案，称为几何知识蒸馏。我们开发了非参数化和参数化实例，并在不同类型的特权拓扑信息和师生方案的各种实验设置中证明了它们的效果。

Oct, 2022

基于图神经网络的在线跨层知识蒸馏与深度监督

本文提出一种在线知识蒸馏框架 ——Alignahead++，它通过一种交替的训练过程，将学生模型的结构和特征信息转移给另一个同时训练的学生模型的前一层，同时在每个中间层添加辅助分类器以避免过度平滑问题。实验结果表明，在不需要预训练模型的监督情况下，通过增加学生数量，我们的协作训练框架可以稳定提高学生模型的性能。

Oct, 2022

图神经网络表示知识蒸馏

通过对比实验，本文提出了一种新的基于图像对比度表示蒸馏的知识蒸馏方法，用于提高资源有效的图神经网络的表现，该方法通过保留全局拓扑结构与对比学习使轻量级图神经网络的性能和稳健性得到了提高。

Nov, 2021

时空图卷积网络上的知识蒸馏用于交通预测

使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

Jan, 2024

提升图卷积神经网络的关注力

提出了一种名为图知识增强和蒸馏模块的插件，通过多头注意机制提取和聚合图信息以增强节点表示，并能通过特殊设计的注意力蒸馏方法将大型教师模型的知识蒸馏到高性能和紧凑的学生模型中，并通过注意力蒸馏有效地从大型教师网络转移蒸馏知识到小型学生网络。

Mar, 2024

基于多头注意力网络的图卷积知识蒸馏

本文提出了一种新颖的知识蒸馏方法，通过多头注意力网络从大型教师网络中提取基于数据集的知识，并进行多任务学习，大大提高了小型学生网络的性能。

Jul, 2019

用图神经网络提炼整体知识

本文提出一种基于属性图的全局知识蒸馏方法，通过自适应地聚合相关样本的单独知识，将它们与关系型邻域样本的关联知识整合成统一的图嵌入，并以对比的方式训练学生网络来蒸馏全局知识。

Aug, 2021