本文提出了一种名为 SGL-PT 的新框架,其中采用 “预训练、提示和预测” 的学习策略,通过采用有生成和对比自监导的结构图(SGL)和基于口头指导的方式,将预训练和微调统一到了一起,从而在图分类任务方面取得了较好的成果。
Feb, 2023
本研究探索了 Graph Prompt 作为预训练 GNN 模型适应下游任务的有效替代方法,通过对下游图形的图形级转换进行任务特定的图形提示来实现,从而实现与微调相当甚至在某些情况下获得显著性能提升。
Sep, 2022
我们提出了一种多视角图对比学习方法,并为其设计了提示调整方法,以缩小预训练和下游任务之间的差距。
Oct, 2023
深度图形提示微调是一种替代微调的创新方法,通过在图中引入可训练的特征节点和预处理特定任务的令牌,增强模型的表达能力,从而在小型数据集和大型图形上可扩展地减少自由参数的数量并消除了多个模型副本的需求。
Sep, 2023
通过优化,使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能,只需调整 0.1%-3% 的参数。
Oct, 2021
本文引入了提示方法来弥补预训练模型与各种图形任务之间的差距,并提出了一种新的用于图形模型的多任务提示方法。经过实验,结果表明我们的方法优越性。
Jul, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
提出了 HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。
该研究系统研究了文本和视觉提示的参数微调方法。他们提出了一个名为 Unified Prompt Tuning (UPT) 的方法,通过学习一个微小的神经网络来联合优化跨不同模态的提示,并在 11 个视觉数据集上进行了强有力的测试,取得了较好的 few-shot learning 和 domain generalization 的效果。
Oct, 2022
本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。