本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

Jun, 2020

该论文提出了三个新的自监督辅助任务，以多任务的方式训练基于图的神经网络模型，使用图卷积网络作为构建块，在标准半监督图分类任务上实现了有竞争力的结果。

Nov, 2020

本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

May, 2019

本文提出了一种新的元学习策略，能够生成可用于多个任务的多任务节点嵌入，并在多个任务上表现出比传统模型更高甚至可比的性能。该方法可以避免同时执行多个任务时出现的困难，是模型不可知和任务不可知的，适用于各种多任务领域。

Dec, 2020

既训练的图神经网络（Pretrained Graph Neural Networks）广泛应用于各种分子属性预测任务，但由于传统的精调对目标任务的训练会导致较差的泛化性能，因此本文探讨了通过与多个辅助任务共同训练的方式来适应目标任务的预训练图神经网络。实验证明了我们提出的方法的有效性，在最先进的预训练图神经网络上的改进效果达到了 7.7％，这表明在分子属性预测中，将辅助任务与目标任务的精调结合起来可以有效提高预训练图神经网络的泛化能力。

Jan, 2024

我们设计了一个更好的图神经网络预训练模型的微调策略（S2PGNN），该策略旨在提升模型性能，并在实证研究中展示了其在图级任务中的成果和比现有的微调策略更好的表现。

Aug, 2023

本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

May, 2019

该研究介绍了一种名为 PARETOGNN 的自监督多任务学习框架，利用多个不同的哲学观点的预文本任务监督自我学习，从而在进行节点表示学习和其他后续任务时产生最佳绩效。

Oct, 2022

AutoTransfer: 提出了一种 AutoML 的解决方案，它通过将先前的架构设计知识转移到新的任务，从而提高搜索效率，并在图机器学习领域的六个数据集上进行评估。

Mar, 2023

我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

Oct, 2023