一体化:用于图神经网络的多任务提示
该研究论文介绍了一种创新的方法来解决预训练图模型与各种应用任务之间的差距问题,借鉴了自然语言处理中提示学习的成功。我们提出了一种适用于图的多任务提示方法,通过统一图和语言提示格式,使自然语言处理的提示策略能够适用于图任务,并通过分析图应用的任务空间,对问题进行重构以适应图级任务,并应用元学习来改善多任务的提示初始化。实验证明了我们的方法在不同的图任务中提高了模型性能。此外,在本文的扩展摘要中,我们从更大的视角讨论图提示,并提供了一些最新的相关工作。
Mar, 2024
在本文中,我们提出了 MultiGPrompt,一种新颖的多任务预训练和提示框架,用于利用多个预设任务获取更全面的预训练知识,并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析 MultiGPrompt。
Nov, 2023
本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。
Feb, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
本文提出了一种基于图混合预训练的统一框架,通过提示机制将任务识别和位置识别注入图神经网络,从而有效减小语义差距,实现更好的性能提升。
Oct, 2023
提出了 HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。
Oct, 2023
人工智能在图上的通用智能在各种应用中取得了显著的进展,然而传统的 “预训练和微调” 范式在复杂和小样本场景下存在低效和负迁移问题。图提示学习作为一种有希望的替代方案出现,利用轻量级提示来操作数据,通过重新构思下游任务来填补任务间隙。然而,仍存在几个关键挑战:如何统一各种图提示模型,如何评估图提示的质量,以及提高其实际应用中的可用性和选择性。为了应对这些挑战,我们推出了图提示学习的首个全面基准。我们的基准集成了六种预训练方法和五种最先进的图提示技术,在十五个多样化的数据集上进行评估,以评估性能、灵活性和效率。我们还介绍了一个名为 'ProG' 的易于使用的开源库,简化了各种图提示模型的执行,有助于客观评估。此外,我们提出了一个统一的框架,将现有的图提示方法分为两个主要方法:图提示和标记提示。该框架增强了图提示技术的适用性和比较性。代码可在此 https URL 中获取。
Jun, 2024
图领域图神经网络的简单提示调优方法在各种预训练策略中表现出较高的适应性和通用性,介绍了基于子图级别的通用提示调优方法,相比于微调方法在全样本和少样本情景下取得显著性能提升。
Feb, 2024