本文提出了一种名为 SGL-PT 的新框架,其中采用 “预训练、提示和预测” 的学习策略,通过采用有生成和对比自监导的结构图(SGL)和基于口头指导的方式,将预训练和微调统一到了一起,从而在图分类任务方面取得了较好的成果。
Feb, 2023
本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。
本研究探索了 Graph Prompt 作为预训练 GNN 模型适应下游任务的有效替代方法,通过对下游图形的图形级转换进行任务特定的图形提示来实现,从而实现与微调相当甚至在某些情况下获得显著性能提升。
Sep, 2022
本文引入了提示方法来弥补预训练模型与各种图形任务之间的差距,并提出了一种新的用于图形模型的多任务提示方法。经过实验,结果表明我们的方法优越性。
Jul, 2023
本文提出了一种名为 PPT 的框架,通过在预训练阶段添加软提示来获得更好的初始化,将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果,这对于实际使用大规模预训练语言模型是一种有效和高效的方法。
Sep, 2021
提出了 HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。
Oct, 2023
深度图形提示微调是一种替代微调的创新方法,通过在图中引入可训练的特征节点和预处理特定任务的令牌,增强模型的表达能力,从而在小型数据集和大型图形上可扩展地减少自由参数的数量并消除了多个模型副本的需求。
Sep, 2023
图领域图神经网络的简单提示调优方法在各种预训练策略中表现出较高的适应性和通用性,介绍了基于子图级别的通用提示调优方法,相比于微调方法在全样本和少样本情景下取得显著性能提升。
Feb, 2024
该论文提出了基于 prompt 调节(Prompt tuning,Pro-tuning)的方法来替代 fine-tuning,适应于各种冻结视觉模型到不同的下游视觉任务。实验结果表明,这种方法在图像分类和密集预测任务方面表现优于 fine-tuning。
Jul, 2022
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023