提出了一种新颖的框架 MuseGraph，它无缝地整合了 GNN 和 LLM 的优势，通过自适应输入生成和多样化的指令生成机制，以及针对不同任务和数据集的图感知指令调优，提高了图任务的准确性，并保持了 LLM 的生成能力。

Mar, 2024

本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

Jun, 2020

通过指令调整和偏好对齐，InstructGraph 框架赋予大型语言模型（LLMs）图推理和生成能力。该框架中，我们首先提出了结构化格式化语言器来统一所有图数据，并且引入了图指令调整阶段来指导 LLMs 解决图推理和生成任务。最后，我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐，以提高模型输出的可靠性。通过多个图相关任务的广泛实验，InstructGraph 实现了最佳性能，并且超过 GPT-4 和 LLaMA2 分别 13% 和 38% 以上。

Feb, 2024

本文提出了一种名为 SGL-PT 的新框架，其中采用 “预训练、提示和预测” 的学习策略，通过采用有生成和对比自监导的结构图（SGL）和基于口头指导的方式，将预训练和微调统一到了一起，从而在图分类任务方面取得了较好的成果。

Feb, 2023

针对文本丰富的图表，我们引入了一种新方法 —— 图感知参数高效微调（GPEFT），通过利用图神经网络（GNN）编码邻居节点的结构信息生成图提示，插入到文本序列的开头，从而实现了高效的图表示学习。通过在 8 个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性，在链接预测评估中平均提升了 2% 的 hit@1 和平均倒数排名（MRR），同时表明可以与多种大型语言模型无缝集成，包括 OPT、LLaMA 和 Falcon。

Apr, 2024

我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证明了我们方法的有效性，并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。

Aug, 2023

我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

Dec, 2023

提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。

Sep, 2023

该论文研究了将图模态集成到大型语言模型中，以提升其在图解指令任务中的性能表现，并通过图嵌入训练模型，使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法，并且对于较大的图结构保持一致。

May, 2024

图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

Jun, 2024