Mar, 2024

一种双重自蒸馏的无教师图知识蒸馏框架

PDF
TL;DR无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。
graph neural networksmulti-layer perceptronsgraph knowledge distillationteacher-free graph self-distillationinference speed
发现论文，激发创造
  • 自蒸馏图神经网络

    本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

    Nov, 2020

  • 无图知识蒸馏用于图神经网络

    本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

    May, 2021

  • 无边界但结构感知：从 GNN 到 MLP 的原型导向知识蒸馏

    本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

    Mar, 2023

  • 无框图知识蒸馏

    本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

    Jul, 2023

  • 基于自由方向知识蒸馏的图神经网络共同增长

    该论文提出了一种名为 FreeKD 的图神经网络知识蒸馏框架，通过强化学习以一种自由的方式互相交换知识，无需提供深度优化的教师 GNN，可以达到比传统 KD 算法更好的性能。

    Jul, 2023

  • FreeKD: 面向图神经网络的自由方向知识蒸馏

    本文提出了新的结构，在强化学习环境中构建了两个较浅的图神经网络来协作交换知识，以解决原本难以训练的深度图神经网络知识蒸馏问题，实验结果证明其优于基础图神经网络和其他传统知识蒸馏算法。

    Jun, 2022

  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • 图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

    本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

    Mar, 2021

  • 基于可靠蒸馏的 GNN 知识量化应用于 MLP

    论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

    Jun, 2023

  • 图神经网络的零数据对抗知识蒸馏

    本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

    May, 2022