我们提出了一种更通用的无监督图补全学习（UGCL）框架，借助自监督学习来改善现有的 GNN 变体在具有特征和结构缺失的图上的任务性能。我们通过将特征重建和结构重建分离，并依次设计其个性化模型来避免 GNN 消息传递过程中缺失节点特征和结构之间的不匹配。然后，引入了在结构级别和特征级别上的双对比损失，以最大化通过特征重建和结构重建路径得到的节点表示的互信息，从而提供更多的监督信号。最后，重建的节点特征和结构可以应用于下游节点分类任务。我们在八个数据集、三种 GNN 变体和五种缺失率上进行了大量实验证明了我们提出方法的有效性。

Sep, 2023

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

本文提出了一种联合学习图结构和图卷积网络参数的方法，从而可以在不完整、损坏或无法使用图的场景中应用图卷积网络，并通过实验证明，该方法的性能显著优于相关方法。

Mar, 2019

本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

Mar, 2021

本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

Nov, 2020

本文提出了一种新颖的知识蒸馏方法，主要应用于非网格结构的数据，如图形结构数据。该方法采用了一种本地结构维护模块，从教师网络和学生网络中提取局部结构信息作为分布，最小化这些分布之间的距离，实现了拥有拓扑感知能力的知识传递，得到了一个更加轻量级但性能优异的学生网络。本文同时还将该方法应用于动态图模型，获得了在两个不同数据集上 GCN 模型的最新知识蒸馏性能。

Mar, 2020

本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

Mar, 2023

采用结构感知的多层感知机（SA-MLP）来代替节点再递归获取和聚合并加入结构信息以提高大规模图上的推理加速，并且引入了结构混合知识蒸馏策略以增强 MLPs 学习结构信息的能力并在传递性和归纳性场景下对 8 个基准数据集进行广泛实验，从而比教师 GNN 更加出色地实现了快速推理。

Oct, 2022

本文提出一种在线知识蒸馏框架 ——Alignahead++，它通过一种交替的训练过程，将学生模型的结构和特征信息转移给另一个同时训练的学生模型的前一层，同时在每个中间层添加辅助分类器以避免过度平滑问题。实验结果表明，在不需要预训练模型的监督情况下，通过增加学生数量，我们的协作训练框架可以稳定提高学生模型的性能。

Oct, 2022

本论文针对在文本图上学习有效节点表示的问题，提出了一种使用语言模型编码图文本信息的图神经网络和知识蒸馏机制，能够在无图情况下实现快速推理，实验结果表明，该方法在节点分类任务上具有显著优势。

Apr, 2023