通过建立一个包含语料库中与输入内容相关的类语境环境节点的有向异构图，将GNN-LM扩展到传统的神经语言模型中（LM），并基于该图构建GNN网络来提高模型的泛化能力，有效地实现了对参考上下文的直接访问，展示了它在不同数据集上优于现有方法的结果（例如在WikiText-103上的最佳困惑度约为14.8）。

Oct, 2021

本文提出了一种有效的框架，称为语言模型图神经网络(LM-GNN)，通过分阶段的BERT模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索-购买-产品的应用中提供了有竞争力的结果。

Jun, 2022

本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用LLMs进行图学习提供了新的可能性和有希望的方向。

Jul, 2023

我们提出了InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的GNN基准数据集，证明了我们方法的有效性，并为将生成语言模型替代GNN作为图机器学习的基础模型提供了启示。

Aug, 2023

该文介绍了一种利用大型语言模型和图神经网络相结合的无标签节点分类方法LLM-GNN，在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测，通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能，实验证明了LLM-GNN的有效性。

Oct, 2023

在该研究中，我们通过对大型语言模型在图预测任务的性能进行实验，评估它们是否能有效处理图数据并利用拓扑结构提高性能；通过与专门的图神经网络进行比较，我们对大型语言模型在图分析中的优势和局限性提供了见解，并为将它们应用于图分析提供了进一步的探索方向。

Oct, 2023

我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导LLMs在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

Oct, 2023

针对文本丰富的图表，我们引入了一种新方法——图感知参数高效微调（GPEFT），通过利用图神经网络（GNN）编码邻居节点的结构信息生成图提示，插入到文本序列的开头，从而实现了高效的图表示学习。通过在8个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性，在链接预测评估中平均提升了2%的hit@1和平均倒数排名（MRR），同时表明可以与多种大型语言模型无缝集成，包括OPT、LLaMA和Falcon。

Apr, 2024

通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

May, 2024

将大型语言模型（LLMs）与图神经网络（GNNs）相结合的互动方式（LLMs-as-Consultants）——LOGIN（LLM Consulted GNN training）框架，在节点分类任务上取得了与复杂设计的先进GNNs相媲美的性能，而且其基本GNN架构能够实现与强化设计的GNNs相当的性能。

May, 2024