软掩码:图神经网络的自适应子结构提取
通过学习预测哪些边可以被删除的分类器,我们提出了解释 GNN 模型预测的后续方法,并将其用作两个任务(问答和语义角色标记)的属性方法,分析信息流并证明删除大量边缘不会使模型性能下降,同时可以分析其余边缘以解释模型预测。
Oct, 2020
使用 SubGNN 模型对含有多个离散链接的生物医学数据集上的子图进行预测任务,通过神经路由机制,网络能够学习分离的子图表示,其中指定了三个信道以捕捉子图拓扑的不同方面,并在 8 个子图分类数据集上以及具有复杂拓扑结构和多个未连接组件的具有挑战性的生物医学数据集上优于基线模型 19.8%。
Jun, 2020
通过 HyperMask 方法,利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码,从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。
Sep, 2023
本文研究了图神经网络的偏差问题及其对泛化性能的影响,并提出了一种能够将因果关系和偏差变量进行分离的图神经网络框架,其中利用参数化边缘生成器将输入图形分为因果图和偏差子图并分别训练两个 GNN 模块,实现了对原模型的改进并取得了超越基线模型的泛化效果。
Sep, 2022
本论文提出了一种基于子结构编码的、具有拓扑感知的信息传递方案 —— Graph Substructure Networks,并通过理论分析和实验评估证明其优于 Weisfeiler-Leman 测试,并在分子图和社交网络等多个领域取得了最先进的结果。
Jun, 2020
提出了一种基于注意力机制的学习图表的简单替代方法,被称为图形掩码注意力(MAG),在长距离任务上具有最先进的性能,并在超过 55 个节点和图级任务中优于强大的信息传递基线和复杂的注意力方法。与图神经网络相比,显示了显着更好的迁移学习能力,并具有与节点或边数目的次线性内存缩放相比较的相当或更好的时间和内存缩放性能。
Feb, 2024
本研究提出了一种 “深 GNN,浅采样器” 设计规则,通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息,避免了在全局范围内过度平滑和邻域爆炸的问题,从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展,研究人员在最大的公共图形数据集上取得了最先进的准确性,同时大幅减少了硬件成本。
Dec, 2020
利用子图构建长距离依赖关系来改善低数据环境下节点分类的性能,并提出了一种名为 Muse 的自监督学习框架,通过联合捕获局部结构和长距离依赖关系,提高了图中节点的表示表达能力。
Apr, 2024
本文提出了一种名为 Union Subgraph Neural Network 的图神经网络模型,通过注入从新类型的子结构中提取的邻居连接信息以有效地编码高阶连接性,该模型被证明在区分非同构图方面比 1-WL 更强大,并且在 17 个基准测试中表现出优异的性能,尤其是在现有模型的局部编码的基础上注入我们的局部编码,可以最多提高 11.09% 的性能。
May, 2023
研究介绍了结构导向的掩膜策略(StructMAE),该策略通过评估节点的结构重要性并进行渐进式掩膜,从而有效地引导模型学习图结构信息,并在无监督学习和迁移学习任务中优于现有的 GMAE 模型。
Apr, 2024