本文提出了一个新的在图上进行预训练和提示的框架GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析GraphPrompt。
Feb, 2023
本文提出了一种名为SGL-PT的新框架,其中采用“预训练、提示和预测”的学习策略,通过采用有生成和对比自监导的结构图(SGL)和基于口头指导的方式,将预训练和微调统一到了一起,从而在图分类任务方面取得了较好的成果。
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用LLMs进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
通过引入文本属性图和节点感兴趣的概念以及新颖的图提示范式,我们提出了全称为One for All (OFA)的通用框架,使得单个图模型能够处理多样的图学习任务,并在不同的领域表现出色。
Sep, 2023
本文提出了一种基于图混合预训练的统一框架,通过提示机制将任务识别和位置识别注入图神经网络,从而有效减小语义差距,实现更好的性能提升。
Oct, 2023
图领域图神经网络的简单提示调优方法在各种预训练策略中表现出较高的适应性和通用性,介绍了基于子图级别的通用提示调优方法,相比于微调方法在全样本和少样本情景下取得显著性能提升。
Feb, 2024
针对文本丰富的图表,我们引入了一种新方法——图感知参数高效微调(GPEFT),通过利用图神经网络(GNN)编码邻居节点的结构信息生成图提示,插入到文本序列的开头,从而实现了高效的图表示学习。通过在8个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性,在链接预测评估中平均提升了2%的hit@1和平均倒数排名(MRR),同时表明可以与多种大型语言模型无缝集成,包括OPT、LLaMA和Falcon。
Apr, 2024
多图多任务预训练方法(GraphFM)通过将特定领域的特征压缩到一个共同的潜空间,并在不同领域的数据上进行扩展,提高了通用模型的泛化能力。通过对152个不同图数据集进行预训练,并根据跨多个领域的数据构建扩展规律,该方法证明了在真实和合成图上进行多图预训练可以显著减轻当前图训练方法的负担,创建一种能在广泛数据集和任务中竞争的单一通用模型。
Jul, 2024
本研究聚焦于图结构数据中"预训练和提示学习"范式的不足,尤其是在自然语言处理和计算机视觉之外的图领域。通过总结和评估促使各类图数据更加兼容的方法,提供了图提示学习的基础理解,并探讨了其在图挖掘及人工通用智能社区的潜在影响。
Aug, 2024
本研究聚焦于图形结构数据中预训练和提示学习的应用尚未成熟的问题。文章提出了一种方法,通过总结减少数据差异的技术,探索提示设计以及相关技术的比较与评估。研究的主要发现是为图形提示学习提供基础理解,旨在影响图挖掘和更广泛的人工智能领域。