从图神经网络中提取低 / 高频率知识并注入到 MLPs 中：一种有效的 GNN 到 MLP 的蒸馏框架

May, 2023

从图神经网络中提取低 / 高频率知识并注入到 MLPs 中：一种有效的 GNN 到 MLP 的蒸馏框架

Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework

PDF

Lirong Wu, Haitao Lin, Yufei Huang, Tianyu Fan, Stan Z. Li

TL;DR本文介绍了一种名为 Full-Frequency GNN-to-MLP 的知识蒸馏方法，它能够从 GNN 中抽取低频和高频知识，并将其注入 MLP 中，从而解决了现有方法中可能存在的高频知识被低频知识淹没的问题。实验表明，该方法在六个图形数据集和三种常见的 GNN 架构中平均优于原始 MLPs 12.6％，并且优于对应的 GNN 2.6％。

Abstract

Recent years have witnessed the great success of graph neural networks (GNNs) in handling graph-related tasks. However, mlps remain the primary workhorse for practical industrial applications due to their desirab

graph neural networks mlps gnn-to-mlp distillation spectral domain full-frequency gnn-to-mlp distillation

发现论文，激发创造

一种双重自蒸馏的无教师图知识蒸馏框架

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

基于可靠蒸馏的 GNN 知识量化应用于 MLP

论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

Jun, 2023

无图神经网络：通过蒸馏教老 MLPs 新技巧

使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

Oct, 2021

无边界但结构感知：从 GNN 到 MLP 的原型导向知识蒸馏

本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

Mar, 2023

图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

Mar, 2021

AdaGMLP: AdaBoosting GNN-to-MLP 知识蒸馏

AdaGMLP 是一种 AdaBoosting 框架，通过使用多个不同的 MLP 学生对标记节点的不同子集进行训练，解决了训练数据不足的问题，并结合节点对齐技术，提供了对具有缺失或不完整特征的测试数据的鲁棒预测，从而在许多延迟敏感的实际应用中表现优于现有的 G2M 方法。

May, 2024

教授多层感知器更多图信息：一个三阶段多任务知识蒸馏框架

我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。

Mar, 2024

无图知识蒸馏用于图神经网络

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

无框图知识蒸馏

本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

Jul, 2023

传播与提炼：利用传播 - 融合 MLPs 实现有效的图学习器

利用多层感知器 (MLPs) 解决图上半监督节点分类问题，在知识蒸馏中通过训练学生 MLP 来自教师图神经网络 (GNN) 的知识。受到将特征变换和传播分离的 GNN 的启发，我们重新构思了蒸馏过程，使学生 MLP 同时学习特征变换和传播。我们提出了 Propagate & Distill (P&D) 方法，在蒸馏之前传播教师的输出，这可以被解释为一种逆传播的近似过程。我们证明了 P&D 方法可以很容易地提高学生 MLP 的性能。

Nov, 2023