ICCVAug, 2021
用图神经网络提炼整体知识
Distilling Holistic Knowledge with Graph Neural Networks
Sheng Zhou, Yucheng Wang, Defang Chen, Jiawei Chen, Xin Wang...
TL;DR本文提出一种基于属性图的全局知识蒸馏方法,通过自适应地聚合相关样本的单独知识,将它们与关系型邻域样本的关联知识整合成统一的图嵌入,并以对比的方式训练学生网络来蒸馏全局知识。
Abstract
knowledge distillation (KD) aims at transferring knowledge from a larger
well-optimized teacher network to a smaller learnable student network.Existing
KD methods have mainly considered two types of knowledge, namely the individual
knowledge and the →
knowledge distillationrelational knowledgegraph-based embeddingsgraph neural networkscontrastive learning
发现论文,激发创造
无框图知识蒸馏
本文提供了一种基于多尺度图框架的知识蒸馏方法,通过合理利用图框架分解所提供的多尺度图知识,学生模型能够适应同构和异构图,并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明,该模型可以在保持高推理速度的同时,生成与教师模型相同甚至更好的学习精度。
Jul, 2023
无图知识蒸馏用于图神经网络
本文提出了一种被称为无图知识蒸馏(GFKD)的方法,通过建模多元伯努利分布来学习知识传输的图拓扑结构,并使用梯度估计器来优化该框架,该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验,GFKD 实现了从 GNN 中蒸馏知识的最先进性能,无需训练数据。
May, 2021
基于自由方向知识蒸馏的图神经网络共同增长
该论文提出了一种名为 FreeKD 的图神经网络知识蒸馏框架,通过强化学习以一种自由的方式互相交换知识,无需提供深度优化的教师 GNN,可以达到比传统 KD 算法更好的性能。
Jul, 2023
图神经网络的在线对抗蒸馏
本文提出一种在线对抗蒸馏方法,通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中,我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能,以提高蒸馏性能。
Dec, 2021
FreeKD: 面向图神经网络的自由方向知识蒸馏
本文提出了新的结构,在强化学习环境中构建了两个较浅的图神经网络来协作交换知识,以解决原本难以训练的深度图神经网络知识蒸馏问题,实验结果证明其优于基础图神经网络和其他传统知识蒸馏算法。
Jun, 2022