GPT-GNN：图神经网络的生成预训练

KDDJun, 2020

GPT-GNN: Generative Pre-Training of Graph Neural Networks

Ziniu Hu, Yuxiao Dong, Kuansan Wang, Kai-Wei Chang, Yizhou Sun

TL;DR本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

Abstract

graph neural networks (GNNs) have been demonstrated to be powerful in modeling graph-structured data. However, training GNNs usually requires abundant task-specific labeled data, which is often arduously expensive to obtain. One effective way to reduce the labeling effort is to pre-tra

graph neural networks pre-training self-supervised learning attributed graph generation downstream tasks

发现论文，激发创造

预训练图神经网络的策略

本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

May, 2019

预训练图神经网络用于通用结构特征提取

本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

May, 2019

GraphGPT：使用生成式预训练 Transformer 进行图学习

我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

Dec, 2023

预训练与学习：为图神经网络保留全局信息

该论文提出了一种名为 G-GNNs 的新型模型，通过无监督预训练获取节点的全局结构和属性特征，然后利用这些特征和原始网络属性，提出了一种 GNN 的并行框架以从这些特征中学习不同的方面。该模型的学习方法可应用于平面图和属性图，并通过 extensive experiments 在三个标准评估图上表现优异，特别地，在属性图学习方面，G-GNNs 在 Cora (84.31%) 和 Pubmed (80.95%) 上建立了新的基准记录。

Oct, 2019

GraphGPT: 大型语言模型的图指令调优

我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

Oct, 2023

基于图神经网络的自适应迁移学习

该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

Jul, 2021

文本属性图上的纯 Transformer 预训练框架

图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

Jun, 2024

更好的更少：关于预训练图神经网络的数据主动观点

我们提出了一种数据主动的图预训练（APT）框架，通过选择最具代表性和指导性的数据点来增强预训练，该框架包括图选择器和预训练模型，并通过两者的整合和交互以渐进迭代的方式进行图预训练，结果表明该方法能够通过较少的训练数据获得高效的预训练模型和更好的下游性能。

Nov, 2023

使用内核对图神经网络进行预训练

本文提出了一种任务无关的预训练方法，使得图神经网络（GNNs）可以学习最先进的图内核函数所引发的表示，并在监督学习阶段对任务进行微调，该技术对采用的 GNNs 体系结构和内核函数是不可知的，并且在预实验结果中表现出了启示性的提高表现

Nov, 2018

自监督训练的图卷积网络

本文提出了两种无监督自学习策略来利用输入图形结构数据中的可用信息，以进一步改善有限的训练数据下模型的学习能力和性能。该方法在三个公共引文网络数据集上使用两个代表性的 GCN 模型进行了实验验证，展示了其在显著提高特征学习方面的自我监督学习能力和可移植性。

Jun, 2020