一对多:面向所有分类任务的单一图模型训练
本文提出了一个新的在图上进行预训练和提示的框架GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析GraphPrompt。
Feb, 2023
PRODIGY是首个允许在图形上进行上下文学习的预训练框架,通过连接提示示例和查询,使用提示图表示上下文图形学习,并提出了相应的家族上下文预训练目标。该框架的实证证据表明,在涉及引用网络和知识图等任务中,在上下文学习性能方面比硬编码自适应对照预训练基线平均高出18%,并且在有限数据的标准微调方面平均高出33%。
May, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
人工智能总体智能(AGI)已经在许多领域取得了革命性的成就,然而其与图数据的整合,在我们相互连接的世界中仍然尚未充分开发。本文对图智能的新兴领域进行了开创性的调查,探讨了利用图数据进行AGI应用的关键挑战和机遇。尽管在自然语言处理和计算机视觉领域已经取得了实质性的进展,但在图数据方面的应用还未得到充分开发。本调查对当前AGI处理图数据的现状进行了批判性评估,突出了在图领域中特定于跨模态、跨领域和跨任务应用的不同挑战。我们的工作首次提出了一个统一的框架,用于理解图提示学习,并明确了图领域中的提示标记、标记结构和插入模式。我们深入探讨了图提示的内在特性,探讨了其灵活性、表达能力和与现有图模型的相互作用。我们系统地对该领域的100多项工作进行分类,将它们与节点级、边级和图级目标的预训练任务相对应。此外,我们还提供了一个名为ProG的Python库和一个配套的网站,以支持和推动图提示的研究。本调查总结了当前挑战和未来方向的讨论,为AGI中的图提示研究提供了路线图。通过这个全面的分析,我们的目标是激发对AGI在图数据中进一步探索和实际应用的兴趣,凸显其重塑AGI领域及其他领域的潜力。ProG库和网站可以通过相应的URL进行访问。
Nov, 2023
利用多个图数据集进行预训练来提高少样本学习的有效性,通过融合各异的图数据集来提取和转移有意义的知识到目标任务,为图基础模型领域做出开创性贡献。
Feb, 2024
我们提出了UniGraph框架,通过使用文本属性图(TAGs)来训练图基础模型,实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型(LMs)和图神经网络(GNNs)构建的骨干网络以及基于掩码图建模(MGM)的自我监督训练目标,并引入大型语言模型(LLMs)进行图指令调优,进而使模型能够进行零样本预测。在各种图学习任务和领域的全面实验证明了我们模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面的有效性,甚至超越或匹配了在目标数据集上进行受监督训练的GNNs的性能。
Feb, 2024
该研究论文介绍了一种创新的方法来解决预训练图模型与各种应用任务之间的差距问题,借鉴了自然语言处理中提示学习的成功。我们提出了一种适用于图的多任务提示方法,通过统一图和语言提示格式,使自然语言处理的提示策略能够适用于图任务,并通过分析图应用的任务空间,对问题进行重构以适应图级任务,并应用元学习来改善多任务的提示初始化。实验证明了我们的方法在不同的图任务中提高了模型性能。此外,在本文的扩展摘要中,我们从更大的视角讨论图提示,并提供了一些最新的相关工作。
Mar, 2024
本研究聚焦于图结构数据中"预训练和提示学习"范式的不足,尤其是在自然语言处理和计算机视觉之外的图领域。通过总结和评估促使各类图数据更加兼容的方法,提供了图提示学习的基础理解,并探讨了其在图挖掘及人工通用智能社区的潜在影响。
Aug, 2024
本研究聚焦于图形结构数据中预训练和提示学习的应用尚未成熟的问题。文章提出了一种方法,通过总结减少数据差异的技术,探索提示设计以及相关技术的比较与评估。研究的主要发现是为图形提示学习提供基础理解,旨在影响图挖掘和更广泛的人工智能领域。
Aug, 2024