本篇论文综述了预训练图模型 (Pretrained Graph Models) 的现状，将现有的 PGMs 基于四个不同维度进行了分类，并探讨了其在社交推荐和药物研究等领域中的应用，最后提出了未来研究方向。

Feb, 2022

我们介绍了一种用于开发图形对齐的语言模型（GLaM）的微调框架，该框架将知识图形转化为具有标签的问题 - 答案对的替代文本表示。我们证明，以特定基于图形的知识为基础的模型具有更强的结构化推理能力。我们的方法利用大型语言模型的生成能力创建数据集，并提出了一种效率高于检索增强型生成方法的替代方法。

Feb, 2024

本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

Jul, 2020

图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

Jan, 2024

通过将图感知元素融合到现有的预训练语言模型中，提出了一种掩蔽结构来捕获邻域信息和一种新型类型编码器，以便于基于图中的拓扑和类型信息解释 KG-to-text 生成模型（在不需要额外的预训练任务的情况下），实验结果表明我们的模型具有较高的竞争力。

Apr, 2022

我们提出了一种名为大图生成模型（LGGM）的新型图生成模型，该模型在来自 13 个不同领域的大量图形语料库（超过 5000 个图形）上进行训练，并且在零样本生成能力方面优于现有的图生成模型。此外，我们的预训练 LGGM 可以轻松地通过来自目标领域的图形进行微调，并展现出比从头开始训练的模型更好的性能，作为实际定制的坚实起点。该模型还具备了根据文本提示生成图形的功能（文本到图形），该功能将底层语言模型中的广泛世界知识整合在一起，为用户提供对生成图形的细粒度控制。我们在下面的链接上发布了代码、模型检查点和数据集。

Jun, 2024

提出了一种新颖的框架 MuseGraph，它无缝地整合了 GNN 和 LLM 的优势，通过自适应输入生成和多样化的指令生成机制，以及针对不同任务和数据集的图感知指令调优，提高了图任务的准确性，并保持了 LLM 的生成能力。

Mar, 2024

我们研究了如何在特定领域的语料库上继续进行预训练，发现在原始语料库上进行训练赋予了模型领域知识，但严重损害了其对问题回答的提示能力。借鉴人类通过阅读理解进行学习的灵感，我们提出了一种简单的方法，将原始语料库转化为阅读理解文本。每个原始文本都会丰富其内容相关的一系列任务。我们的方法可以高度扩展，适用于任何预训练语料库，并在生物医学、金融和法律三个不同领域的各种任务中持续提升性能。值得注意的是，我们的 7B 语言模型在性能上与规模更大的专门领域模型（如 BloombergGPT-50B）相媲美。此外，我们证明领域特定的阅读理解文本甚至可以提高模型在通用基准上的性能，展示了在更多领域开发通用模型的潜力。我们的模型、代码和数据将可在此 https URL 中获取。

Sep, 2023

我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证明了我们方法的有效性，并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。

Aug, 2023

本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

Mar, 2022