Jun, 2023

知识蒸馏加速分子图神经网络

PDF
TL;DR本文探讨了使用知识蒸馏加速分子图神经网络的实用性，研究结果显示可以无需改变体系结构就能提高预测准确性达到近 60%。
graph neural networksmolecular simulationsknowledge distillationenergy predictionforce prediction
发现论文，激发创造
  • 基于自由方向知识蒸馏的图神经网络共同增长

    该论文提出了一种名为 FreeKD 的图神经网络知识蒸馏框架，通过强化学习以一种自由的方式互相交换知识，无需提供深度优化的教师 GNN，可以达到比传统 KD 算法更好的性能。

    Jul, 2023

  • FreeKD: 面向图神经网络的自由方向知识蒸馏

    本文提出了新的结构，在强化学习环境中构建了两个较浅的图神经网络来协作交换知识，以解决原本难以训练的深度图神经网络知识蒸馏问题，实验结果证明其优于基础图神经网络和其他传统知识蒸馏算法。

    Jun, 2022

  • 无图知识蒸馏用于图神经网络

    本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

    May, 2021

  • 基于图神经网络的在线跨层知识蒸馏与深度监督

    本文提出一种在线知识蒸馏框架 ——Alignahead++，它通过一种交替的训练过程，将学生模型的结构和特征信息转移给另一个同时训练的学生模型的前一层，同时在每个中间层添加辅助分类器以避免过度平滑问题。实验结果表明，在不需要预训练模型的监督情况下，通过增加学生数量，我们的协作训练框架可以稳定提高学生模型的性能。

    Oct, 2022

  • 无框图知识蒸馏

    本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

    Jul, 2023

  • 基于可靠蒸馏的 GNN 知识量化应用于 MLP

    论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

    Jun, 2023

  • 时空图卷积网络上的知识蒸馏用于交通预测

    使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

    Jan, 2024

  • 图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

    本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

    Mar, 2021

  • ABKD：基于注意力的知识蒸馏技术的图神经网络压缩

    通过注意力机制对 GNN 模型进行知识蒸馏，实现了对大规模图数据的高压缩比，平均精度提升 1.79%，压缩比达到 32.3 倍，相较于现有技术达到了更小的精度损失。

    Oct, 2023

  • 用图神经网络提炼整体知识

    本文提出一种基于属性图的全局知识蒸馏方法，通过自适应地聚合相关样本的单独知识，将它们与关系型邻域样本的关联知识整合成统一的图嵌入，并以对比的方式训练学生网络来蒸馏全局知识。

    Aug, 2021