May, 2022

Alignahead: 基于图神经网络的在线跨层知识提取

PDF
TL;DR本研究提出了一种基于在线学习的知识蒸馏框架，使用协作式训练方法中的互为同步的学生模型来提高图神经网络嵌入表示的性能，而不需依赖于一个预先训练的教师模型；同时，使用跨层蒸馏策略来对齐每个学生模型之间的局部结构信息，从而提高模型收敛速度和准确性。实验结果表明，该方法对于 PPI、Coauthor-CS/Physics 和 Amazon-Computer/Photo 等数据集均能显著提高学生模型的表现。
knowledge distillationgraph neural networkscollaborative trainingonline learningstructure alignment
发现论文，激发创造
  • 基于图神经网络的在线跨层知识蒸馏与深度监督

    本文提出一种在线知识蒸馏框架 ——Alignahead++，它通过一种交替的训练过程，将学生模型的结构和特征信息转移给另一个同时训练的学生模型的前一层，同时在每个中间层添加辅助分类器以避免过度平滑问题。实验结果表明，在不需要预训练模型的监督情况下，通过增加学生数量，我们的协作训练框架可以稳定提高学生模型的性能。

    Oct, 2022

  • 图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

    本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

    Mar, 2021

  • 从图卷积网络中提炼知识

    本文提出了一种新颖的知识蒸馏方法，主要应用于非网格结构的数据，如图形结构数据。该方法采用了一种本地结构维护模块，从教师网络和学生网络中提取局部结构信息作为分布，最小化这些分布之间的距离，实现了拥有拓扑感知能力的知识传递，得到了一个更加轻量级但性能优异的学生网络。本文同时还将该方法应用于动态图模型，获得了在两个不同数据集上 GCN 模型的最新知识蒸馏性能。

    Mar, 2020

  • 图神经网络的在线对抗蒸馏

    本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

    Dec, 2021

  • ALP-KD: 基于注意力的层映射知识蒸馏

    研究知识蒸馏在神经网络中的应用。提出了一种基于注意力机制的组合技术，通过将教师网络和学生网络的信息进行融合，并且考虑每层的重要性，在中间层进行蒸馏。实验表明，该技术能够优于其他现有的技术。

    Dec, 2020

  • 通过对抗知识蒸馏压缩深度图神经网络

    本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

    May, 2022

  • 基于自由方向知识蒸馏的图神经网络共同增长

    该论文提出了一种名为 FreeKD 的图神经网络知识蒸馏框架，通过强化学习以一种自由的方式互相交换知识，无需提供深度优化的教师 GNN，可以达到比传统 KD 算法更好的性能。

    Jul, 2023

  • 知识蒸馏加速分子图神经网络

    本文探讨了使用知识蒸馏加速分子图神经网络的实用性，研究结果显示可以无需改变体系结构就能提高预测准确性达到近 60%。

    Jun, 2023

  • 对齐蒸馏：神经机器翻译中用于知识蒸馏的可训练注意力对齐

    通过学生模型与教师模型的自适应对齐，'Align-to-Distill'（A2D）策略在 Transformer 架构的知识蒸馏中解决了特征映射问题，实验证明 A2D 相较于 Transformer 基准模型，在 WMT-2022 的 De->Dsb 和 WMT-2014 的 En->De 翻译任务中分别获得了 + 3.61 和 + 0.63 BLEU 得分的提升。

    Mar, 2024

  • 针对知识蒸馏的学生友好型教师网络学习

    本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

    Feb, 2021