ULTRA-DP:将图预训练与多任务图双提示统一化
在本文中,我们提出了 MultiGPrompt,一种新颖的多任务预训练和提示框架,用于利用多个预设任务获取更全面的预训练知识,并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析 MultiGPrompt。
Nov, 2023
本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。
Feb, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
我们提出了一种名为 Unified Pretraining for Recommendation via Task Hypergraphs 的新型多任务预训练框架,通过任务超图将预训练任务广泛应用于推荐系统中,设计了一种新颖的过渡关注层来区分性地学习每个预训练任务和推荐之间的相关性,并通过实验结果验证了 UPRTH 的优越性,并进行了进一步的详细研究来证明该框架的有效性。
Oct, 2023
提出了 HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。
Oct, 2023
该研究论文介绍了一种创新的方法来解决预训练图模型与各种应用任务之间的差距问题,借鉴了自然语言处理中提示学习的成功。我们提出了一种适用于图的多任务提示方法,通过统一图和语言提示格式,使自然语言处理的提示策略能够适用于图任务,并通过分析图应用的任务空间,对问题进行重构以适应图级任务,并应用元学习来改善多任务的提示初始化。实验证明了我们的方法在不同的图任务中提高了模型性能。此外,在本文的扩展摘要中,我们从更大的视角讨论图提示,并提供了一些最新的相关工作。
Mar, 2024
本文提出了一种名为 SGL-PT 的新框架,其中采用 “预训练、提示和预测” 的学习策略,通过采用有生成和对比自监导的结构图(SGL)和基于口头指导的方式,将预训练和微调统一到了一起,从而在图分类任务方面取得了较好的成果。
Feb, 2023
本研究提出了一种针对动态图建模的新型预训练和提示框架 ——DyGPrompt,通过在任务目标和动态变化之间设立双重提示,以及利用节点和时间特征相互刻画的双重条件网络,来有效填补现有静态图的预训练模型在节点分析等下游任务中的缺口。通过在三个公共数据集上进行广泛实验评估和分析,证明了 DyGPrompt 的有效性。
May, 2024
本文提出了 HGPROMPT,一个新颖的预训练和提示框架,通过双模板设计来统一预训练和下游任务,以及同质和异质图,并通过对下游任务的双提示来帮助定位最相关的先验知识,以弥合由于特征变化和任务间的异质性差异导致的差距,并通过对三个公共数据集进行全面的实验评估和分析。
Dec, 2023