HGPROMPT: 少样本提示学习中的齐次和非齐次图之间的桥接
本文介绍了一种用于建模Web规模异构图的异构图转换器架构(HGT),通过设计基于节点类型和边类型的参数来实现异构性,并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据,实验表明,所提出的HGT模型在各种下游任务中始终优于所有最先进的HNN基线9%至21%。
Mar, 2020
我们提出了GCNH,是一种简单但有效的GNN架构,适用于异构和同质图形,并使用一个学习的重要系数平衡中心节点和邻域的贡献,可以解决异构图上性能问题和过度平滑问题。
Apr, 2023
提出了HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了HetGPT在半监督节点分类方面改进了最先进的HGNNs的性能。
Oct, 2023
图神经网络(GNN)在学习图数据的语义方面具有很强的能力。最近,一种名为“预训练、提示”的新范式在利用较少监督数据将GNNs适应各种任务方面取得了有希望的结果。成功的这种范式可以归因于预训练和面向任务的提示调整之间更一致的目标,其中预训练知识可以有效地转移到下游任务。然而,现有研究中一个被忽视的问题是,在预训练阶段利用图的结构信息来学习节点表示,而在提示调整阶段却被忽略了。为了弥合这一差距,我们提出了一种新颖的基于结构的GNN提示方法,即SAP,它在预训练和提示调整阶段都一致地利用了结构信息。具体来说,SAP使用双视图对比学习来对齐节点属性和图结构的潜在语义空间,并在提示的图中加入结构信息以引发更多预训练知识。我们在节点分类和图分类任务上进行了大量实验证明了SAP的有效性。此外,我们还表明SAP可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。
Oct, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
在本文中,我们提出了MultiGPrompt,一种新颖的多任务预训练和提示框架,用于利用多个预设任务获取更全面的预训练知识,并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析MultiGPrompt。
Nov, 2023
同质性原则(Homophily principle)是图神经网络(Graph Neural Networks)在图结构数据中表现优越的主要原因,但低同质性(heterophily)却是导致某些情况下图神经网络表现不理想的主要原因。本综述调查了异质图学习的最新进展,包括标杆数据集的详细概述、合成图上同质性度量的评估、最新监督和非监督学习方法的分类、同质性/异质性的理论分析以及与异质性相关的广泛应用。同时,我们首次将标杆的异质性数据集分为恶性、良性和模糊三个子类,其中恶性和模糊数据集是用于测试新模型在异质性挑战上有效性的真正具有挑战性的数据集。最后,我们提出了几个关于异质图表示学习的挑战和未来方向。
Jul, 2024
通过任务无关的图结构损失函数,我们提出了一种名为Graph structure Prompt Learning(GPL)的新型图结构预测学习方法,能够提高图神经网络(GNNs)的训练效果,进而有效学习内在的图特征,大幅提升节点分类、图分类和边预测任务的性能。
Jul, 2024
本研究解决了预训练异构图神经网络(HGNNs)在提示调优阶段未能充分适应图结构和标签数据有限的问题。提出了一个统一框架,结合两种新适配器和潜在标签数据扩展,通过设计双结构感知适配器来改善模型的泛化能力。实验结果表明,该方法在多种下游任务中具有优越的效果和泛化性能。
Nov, 2024