Mar, 2024

教授多层感知器更多图信息：一个三阶段多任务知识蒸馏框架

PDF
TL;DR我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。
graph neural networkslarge-scale graph datasetsdistillation frameworkpositional encodinghidden layer distillation
发现论文，激发创造
  • 一种双重自蒸馏的无教师图知识蒸馏框架

    无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

    Mar, 2024

  • 基于可靠蒸馏的 GNN 知识量化应用于 MLP

    论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

    Jun, 2023

  • 传播与提炼：利用传播 - 融合 MLPs 实现有效的图学习器

    利用多层感知器 (MLPs) 解决图上半监督节点分类问题，在知识蒸馏中通过训练学生 MLP 来自教师图神经网络 (GNN) 的知识。受到将特征变换和传播分离的 GNN 的启发，我们重新构思了蒸馏过程，使学生 MLP 同时学习特征变换和传播。我们提出了 Propagate & Distill (P&D) 方法，在蒸馏之前传播教师的输出，这可以被解释为一种逆传播的近似过程。我们证明了 P&D 方法可以很容易地提高学生 MLP 的性能。

    Nov, 2023

  • 从图神经网络中提取低 / 高频率知识并注入到 MLPs 中：一种有效的 GNN 到 MLP 的蒸馏框架

    本文介绍了一种名为 Full-Frequency GNN-to-MLP 的知识蒸馏方法，它能够从 GNN 中抽取低频和高频知识，并将其注入 MLP 中，从而解决了现有方法中可能存在的高频知识被低频知识淹没的问题。实验表明，该方法在六个图形数据集和三种常见的 GNN 架构中平均优于原始 MLPs 12.6％，并且优于对应的 GNN 2.6％。

    May, 2023

  • 无框图知识蒸馏

    本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

    Jul, 2023

  • 无边界但结构感知：从 GNN 到 MLP 的原型导向知识蒸馏

    本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

    Mar, 2023

  • 图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

    本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

    Mar, 2021

  • 通过 MLPs 揭示图学习的潜在潜力：利用传播式 MLPs 的有效图学习器

    通过知识蒸馏从图神经网络导师中训练学生多层感知机，将 KD 过程重新构建为使学生模型在知识蒸馏中显式学习结构信息，并提出了一个有效的方法 Propagate & Distill (P&D)，通过真实世界基准数据集的综合评估表明了 P&D 的有效性和对学生模型性能的进一步提升。

    Nov, 2023

  • 基于图的知识探索：通道关系图的多层特征蒸馏

    基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上的效果优于以往的特征蒸馏方法，证明其有效性和适用性。

    May, 2024

  • SA-MLP: 将 GNN 中的图知识蒸馏为结构感知的 MLP

    采用结构感知的多层感知机（SA-MLP）来代替节点再递归获取和聚合并加入结构信息以提高大规模图上的推理加速，并且引入了结构混合知识蒸馏策略以增强 MLPs 学习结构信息的能力并在传递性和归纳性场景下对 8 个基准数据集进行广泛实验，从而比教师 GNN 更加出色地实现了快速推理。

    Oct, 2022