图形提示学习的研究与展望
该研究综述了将深度学习方法应用于普适图形数据的现有五类模型结构和训练策略：图循环神经网络、图卷积网络、图自编码器、图强化学习和图对抗方法，并提出了潜在的未来研究方向和应用领域。
Dec, 2018
本文提出了一个新的在图上进行预训练和提示的框架GraphPrompt，可以将预训练和下游任务统一到一个通用的任务模板中，并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析GraphPrompt。
Feb, 2023
提出了HetGPT，一种通用的后训练提示框架，用于改善预训练的异构图神经网络（HGNNs）的预测性能，并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了HetGPT在半监督节点分类方面改进了最先进的HGNNs的性能。
Oct, 2023
图神经网络(GNN)在学习图数据的语义方面具有很强的能力。最近，一种名为“预训练、提示”的新范式在利用较少监督数据将GNNs适应各种任务方面取得了有希望的结果。成功的这种范式可以归因于预训练和面向任务的提示调整之间更一致的目标，其中预训练知识可以有效地转移到下游任务。然而，现有研究中一个被忽视的问题是，在预训练阶段利用图的结构信息来学习节点表示，而在提示调整阶段却被忽略了。为了弥合这一差距，我们提出了一种新颖的基于结构的GNN提示方法，即SAP，它在预训练和提示调整阶段都一致地利用了结构信息。具体来说，SAP使用双视图对比学习来对齐节点属性和图结构的潜在语义空间，并在提示的图中加入结构信息以引发更多预训练知识。我们在节点分类和图分类任务上进行了大量实验证明了SAP的有效性。此外，我们还表明SAP可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。
Oct, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架，通过统一预训练和下游任务，并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识，进一步提升了预训练和提示方面的性能。
Nov, 2023
人工智能总体智能（AGI）已经在许多领域取得了革命性的成就，然而其与图数据的整合，在我们相互连接的世界中仍然尚未充分开发。本文对图智能的新兴领域进行了开创性的调查，探讨了利用图数据进行AGI应用的关键挑战和机遇。尽管在自然语言处理和计算机视觉领域已经取得了实质性的进展，但在图数据方面的应用还未得到充分开发。本调查对当前AGI处理图数据的现状进行了批判性评估，突出了在图领域中特定于跨模态、跨领域和跨任务应用的不同挑战。我们的工作首次提出了一个统一的框架，用于理解图提示学习，并明确了图领域中的提示标记、标记结构和插入模式。我们深入探讨了图提示的内在特性，探讨了其灵活性、表达能力和与现有图模型的相互作用。我们系统地对该领域的100多项工作进行分类，将它们与节点级、边级和图级目标的预训练任务相对应。此外，我们还提供了一个名为ProG的Python库和一个配套的网站，以支持和推动图提示的研究。本调查总结了当前挑战和未来方向的讨论，为AGI中的图提示研究提供了路线图。通过这个全面的分析，我们的目标是激发对AGI在图数据中进一步探索和实际应用的兴趣，凸显其重塑AGI领域及其他领域的潜力。ProG库和网站可以通过相应的URL进行访问。
Nov, 2023
人工智能在图上的通用智能在各种应用中取得了显著的进展，然而传统的“预训练和微调”范式在复杂和小样本场景下存在低效和负迁移问题。图提示学习作为一种有希望的替代方案出现，利用轻量级提示来操作数据，通过重新构思下游任务来填补任务间隙。然而，仍存在几个关键挑战：如何统一各种图提示模型，如何评估图提示的质量，以及提高其实际应用中的可用性和选择性。为了应对这些挑战，我们推出了图提示学习的首个全面基准。我们的基准集成了六种预训练方法和五种最先进的图提示技术，在十五个多样化的数据集上进行评估，以评估性能、灵活性和效率。我们还介绍了一个名为'ProG'的易于使用的开源库，简化了各种图提示模型的执行，有助于客观评估。此外，我们提出了一个统一的框架，将现有的图提示方法分为两个主要方法：图提示和标记提示。该框架增强了图提示技术的适用性和比较性。代码可在此 https URL中获取。
Jun, 2024
本研究聚焦于图结构数据中"预训练和提示学习"范式的不足，尤其是在自然语言处理和计算机视觉之外的图领域。通过总结和评估促使各类图数据更加兼容的方法，提供了图提示学习的基础理解，并探讨了其在图挖掘及人工通用智能社区的潜在影响。
Aug, 2024