Mar, 2024

提升图卷积神经网络的关注力

TL;DR提出了一种名为图知识增强和蒸馏模块的插件,通过多头注意机制提取和聚合图信息以增强节点表示,并能通过特殊设计的注意力蒸馏方法将大型教师模型的知识蒸馏到高性能和紧凑的学生模型中,并通过注意力蒸馏有效地从大型教师网络转移蒸馏知识到小型学生网络。