本研究提出了一种新的框架 -- 基于知识嵌入的图卷积网络 (KE-GCN),该框架充分利用了复杂图形的丰富结构信息,并针对图的异构性和节点更新问题进行改进,优于具有同类基线方法的表现。
Jun, 2020
通过注意力机制对 GNN 模型进行知识蒸馏,实现了对大规模图数据的高压缩比,平均精度提升 1.79%,压缩比达到 32.3 倍,相较于现有技术达到了更小的精度损失。
Oct, 2023
本文提出了一种新颖的知识蒸馏方法,主要应用于非网格结构的数据,如图形结构数据。该方法采用了一种本地结构维护模块,从教师网络和学生网络中提取局部结构信息作为分布,最小化这些分布之间的距离,实现了拥有拓扑感知能力的知识传递,得到了一个更加轻量级但性能优异的学生网络。本文同时还将该方法应用于动态图模型,获得了在两个不同数据集上 GCN 模型的最新知识蒸馏性能。
Mar, 2020
本研究提出了一种新的框架,双注意力图卷积网络,用于解决图分类任务中邻域汇聚和池化操作的问题,并通过实验比较证明了该模型优于其他基线模型和深度学习方法。
Apr, 2019
本文提出了一种新颖的知识蒸馏方法,通过多头注意力网络从大型教师网络中提取基于数据集的知识,并进行多任务学习,大大提高了小型学生网络的性能。
Jul, 2019
本文提出了一种被称为无图知识蒸馏(GFKD)的方法,通过建模多元伯努利分布来学习知识传输的图拓扑结构,并使用梯度估计器来优化该框架,该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验,GFKD 实现了从 GNN 中蒸馏知识的最先进性能,无需训练数据。
May, 2021
本研究提出了一种名为 GCN-SA 的新型图学习框架,它具有出色的节点级表示学习的泛化能力,并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉,从而使其能够在具有不同程度同质性的图上进行表示学习。
Mar, 2024
本文提出了 Knowledge Graph Convolutional Networks (KGCN) 的方法,通过在知识图谱上挖掘和利用互相关联的属性来有效地捕捉物品之间的相关性,扩展感受野以建模高阶邻近信息,并将邻居信息与偏差相结合计算给定实体的表示,以优化协同过滤型推荐系统的性能。实验结果表明,该方法在电影、图书和音乐推荐的三个数据集上优于强基线算法。
Mar, 2019
该论文提出了一种基于边注意力的多关系图卷积网络 (EAGCN) 模型,可用于多个化学数据集中学习化合物的属性,通过设计边注意力字典以及在不同分子中查找该字典以形成每个分子的注意力矩阵,进而实现对不同分子大小的聚合节点特征预测的独立性。
Feb, 2018
本研究提出了一种名为 DGCN 的新型 GCN 模型,通过利用一阶和二阶接近度来将其扩展到有向图,可以保留有向图的连接属性并扩展卷积操作的感受野,实验证明只用 DGCNs 可编码更多有用的图信息并在推广到其他模型时提高性能。
Apr, 2020