广义图提示：走向图上预训练和下游任务的统一
本文提出了一个新的在图上进行预训练和提示的框架GraphPrompt，可以将预训练和下游任务统一到一个通用的任务模板中，并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析GraphPrompt。
Feb, 2023
图神经网络(GNN)在学习图数据的语义方面具有很强的能力。最近，一种名为“预训练、提示”的新范式在利用较少监督数据将GNNs适应各种任务方面取得了有希望的结果。成功的这种范式可以归因于预训练和面向任务的提示调整之间更一致的目标，其中预训练知识可以有效地转移到下游任务。然而，现有研究中一个被忽视的问题是，在预训练阶段利用图的结构信息来学习节点表示，而在提示调整阶段却被忽略了。为了弥合这一差距，我们提出了一种新颖的基于结构的GNN提示方法，即SAP，它在预训练和提示调整阶段都一致地利用了结构信息。具体来说，SAP使用双视图对比学习来对齐节点属性和图结构的潜在语义空间，并在提示的图中加入结构信息以引发更多预训练知识。我们在节点分类和图分类任务上进行了大量实验证明了SAP的有效性。此外，我们还表明SAP可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。
Oct, 2023
人工智能总体智能（AGI）已经在许多领域取得了革命性的成就，然而其与图数据的整合，在我们相互连接的世界中仍然尚未充分开发。本文对图智能的新兴领域进行了开创性的调查，探讨了利用图数据进行AGI应用的关键挑战和机遇。尽管在自然语言处理和计算机视觉领域已经取得了实质性的进展，但在图数据方面的应用还未得到充分开发。本调查对当前AGI处理图数据的现状进行了批判性评估，突出了在图领域中特定于跨模态、跨领域和跨任务应用的不同挑战。我们的工作首次提出了一个统一的框架，用于理解图提示学习，并明确了图领域中的提示标记、标记结构和插入模式。我们深入探讨了图提示的内在特性，探讨了其灵活性、表达能力和与现有图模型的相互作用。我们系统地对该领域的100多项工作进行分类，将它们与节点级、边级和图级目标的预训练任务相对应。此外，我们还提供了一个名为ProG的Python库和一个配套的网站，以支持和推动图提示的研究。本调查总结了当前挑战和未来方向的讨论，为AGI中的图提示研究提供了路线图。通过这个全面的分析，我们的目标是激发对AGI在图数据中进一步探索和实际应用的兴趣，凸显其重塑AGI领域及其他领域的潜力。ProG库和网站可以通过相应的URL进行访问。
Nov, 2023
本文提出了HGPROMPT，一个新颖的预训练和提示框架，通过双模板设计来统一预训练和下游任务，以及同质和异质图，并通过对下游任务的双提示来帮助定位最相关的先验知识，以弥合由于特征变化和任务间的异质性差异导致的差距，并通过对三个公共数据集进行全面的实验评估和分析。
Dec, 2023
在本文中，我们提出了MultiGPrompt，一种新颖的多任务预训练和提示框架，用于利用多个预设任务获取更全面的预训练知识，并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析MultiGPrompt。
Nov, 2023
人工智能在图上的通用智能在各种应用中取得了显著的进展，然而传统的“预训练和微调”范式在复杂和小样本场景下存在低效和负迁移问题。图提示学习作为一种有希望的替代方案出现，利用轻量级提示来操作数据，通过重新构思下游任务来填补任务间隙。然而，仍存在几个关键挑战：如何统一各种图提示模型，如何评估图提示的质量，以及提高其实际应用中的可用性和选择性。为了应对这些挑战，我们推出了图提示学习的首个全面基准。我们的基准集成了六种预训练方法和五种最先进的图提示技术，在十五个多样化的数据集上进行评估，以评估性能、灵活性和效率。我们还介绍了一个名为'ProG'的易于使用的开源库，简化了各种图提示模型的执行，有助于客观评估。此外，我们提出了一个统一的框架，将现有的图提示方法分为两个主要方法：图提示和标记提示。该框架增强了图提示技术的适用性和比较性。代码可在此 https URL中获取。
Jun, 2024
本研究聚焦于图结构数据中"预训练和提示学习"范式的不足，尤其是在自然语言处理和计算机视觉之外的图领域。通过总结和评估促使各类图数据更加兼容的方法，提供了图提示学习的基础理解，并探讨了其在图挖掘及人工通用智能社区的潜在影响。
Aug, 2024
本研究聚焦于图形结构数据中预训练和提示学习的应用尚未成熟的问题。文章提出了一种方法，通过总结减少数据差异的技术，探索提示设计以及相关技术的比较与评估。研究的主要发现是为图形提示学习提供基础理解，旨在影响图挖掘和更广泛的人工智能领域。
Aug, 2024